LLM Hakemler Eksiklikleri Değil Sadece Varlığı Doğruluyor: Klinik Notlarda Kör Nokta

Yapay zeka destekli ambient scribe sistemleri hasta görüşmelerinden klinik notlar üretiyor, ancak yayımlanan denetimler en yaygın hatanın 'eksik bilgi' (omission) olduğunu gösteriyor: görüşmede geçen ama nota yazılmayan detaylar. Bu hatayı yakalamak için standart yöntem bir LLM hakem kullanmak: ikinci bir model transkripti notla karşılaştırıp sorunları işaretliyor. Bu çalışma, hakemlerin gerçekten eksiklikleri tespit edip edemediğini soruyor.

Araştırmacılar denetlenmiş gerçek föylerinden 500 tek-hatalı not çifti içeren bir kıyas seti oluşturdu (298 kesin eksiklik, 202 eklenmiş/değiştirilmiş kontrol). Sekiz farklı hakem tasarımı test edildiğinde, eklenen veya değiştirilen içerikte ayırt etme başarısı 0.79-0.94 arasındayken, eksikliklerde bu oran 0.50-0.63'e düşüyor — yani neredeyse yazı tura atmak kadar isabetsiz. Prompt değişiklikleri, oylama ve GEPA optimizasyonu bu sorunu çözmüyor.

Çözüm, görevi yeniden yapılandırmaktan geçiyor: önce transkriptten çıkarılan gerçekleri listelemek, sonra notu her biri için kontrol etmek. İki farklı yöntem bu başarıyı bağımsız olarak yakalıyor: gerçek-bazlı bir pipeline (yüzde 2.7 yanlış alarm oranıyla eksik gerçeği ve ciddiyetini isimlendiriyor) ve tek çağrıda aynı işi yapan GEPA ile evrimleşmiş bir prompt (yüzde 36.9 tespit oranı, yüzde 6.2 yanlış alarm, notu başına onda bir maliyet). Bir hekim, anlaşmazlık durumlarında pipeline'ı 10 üzerinden 10 destekledi.

Gerçek satıcı notlarında kıyas eşikleri doğrudan işe yaramasa da, yeniden kalibre edilmiş tek-çağrı yöntemi sekiz hakemin en iyisinden daha yüksek tespit oranına, yarı yanlış alarm oranına ulaşıyor. Başka bir yerde tekrarlanan eksiklikler her iki yöntemi de yanıltıyor. Ekip kıyas setini, promptları ve değerlendirmeleri açık erişime sundu.