Otonom Klinik Semptom Tespitinde Optimizasyon İstikrarsızlığına Dikkat
Otonom Klinik Semptom Tespitinde Optimizasyon İstikrarsızlığına Dikkat
Otonom ajanların klinik semptom tespitinde optimizasyon süreçleri beklenmedik başarısızlıklar gösterebiliyor; retrospektif seçim yöntemi ise performansı artırıyor.
Önemli Noktalar
- Otonom optimizasyonun bazı durumlarda sınıflandırıcı performansını düşürdüğü gözlemlendi.
- Retrospektif seçim yöntemi, aktif müdahaleye göre başarısızlıkları daha iyi önledi.
- Beyin sisi tespitinde F1 skorunda %331, göğüs ağrısı tespitinde ise %7’lik artış sağlandı.
Çalışmanın Özeti
Otonom ajanların kendi davranışlarını tekrarlayan şekilde optimize ettiği klinik semptom tespit süreçleri, umut vaat etse de, başarısızlık biçimleri tam olarak tanımlanmamış durumda. arXiv:2602.16037v1 araştırmasında, Pythia adlı açık kaynaklı otomatik prompt optimizasyon çerçevesi kullanılarak, üç klinik semptomun (nefes darlığı %23, göğüs ağrısı %12, Long COVID beyin sisi %3) tespiti incelendi.
Değerlendirme sırasında, doğrulama hassasiyetinin iterasyonlar boyunca 1.0 ile 0.0 arasında dalgalandığı ve bu dalgalanmanın semptomun yaygınlığıyla ters orantılı olduğu tespit edildi. Özellikle %3 prevalansa sahip beyin sisi semptomunda, sistem %95 doğruluk elde etti fakat hiçbir pozitif vakayı tespit edemedi; bu tür başarısızlıklar standart değerlendirme metrikleriyle fark edilemiyor.
Teknik Detaylar
İki Müdahale Yöntemi
Araştırmada iki farklı müdahale yöntemi denendi:
- Yönlendirici ajan: Optimizasyonu aktif şekilde yönlendirdi ancak aşırı uyumlanmayı (overfitting) artırdı ve hatayı düzeltmedi.
- Seçici ajan: Geçmişteki en iyi performans gösteren iterasyonu belirleyerek felaket başarısızlığı engelledi.
Performans Karşılaştırması
Seçici ajan denetimi altında, sistem yalnızca tek bir doğal dil terimiyle çalışarak, uzmanlar tarafından oluşturulan leksikonlara kıyasla beyin sisi tespitinde F1 skorunda %331, göğüs ağrısı tespitinde ise %7 daha iyi performans gösterdi.
Sonuç ve Önemi
Bu bulgular, otonom yapay zeka sistemlerinde kritik bir başarısızlık biçimini ortaya koyuyor ve düşük prevalanslı sınıflandırma görevlerinde retrospektif seçimin aktif müdahaleye göre daha etkili olduğunu gösteriyor.
Synvalo tarafından yayınlanmıştır.
Kaynak: arxiv.org