LLM Değerlendiricilerde Kırılamayan %75 Yanlış Negatif Duvarı
LLM tabanlı reviewer'ların çözülemeyen %75 yanlış negatif sorununu ve neden oylama, prompt kalibrasyonu gibi standart çözümlerin işe yaramadığını inceliyoruz.
Bir dizi deney, AI ajan çıktısını değerlendiren LLM tabanlı reviewer'ların yapısal bir sınırla karşılaştığını gösteriyor: reviewer tüm bariz çöp çıktıları (boş testler, TODO placeholder'ları, anlamsız metinler) yakalayacak kadar keskinleştiğinde, geçerli çıktıların %75'ini de hatalı olarak reddediyor. Bu oran GLM-5.2 ve deepseek-v4-flash gibi farklı modellerde, 8'den 30 senaryoya çıkan test setlerinde sabit kalıyor.
Standart üç çözüm denendi ve hiçbiri işe yaramadı: aynı prompt'u tekrar çalıştırıp çoğunluk oyu almak (model her seferinde aynı hatalı kararı veriyor), farklı prompt varyasyonlarıyla oylama yapmak (hepsi aynı önyargı yönünü paylaşıyor) ve prompt kalibrasyonu (küçük test setinde işe yarar gibi göründü ama 30 senaryoya genişletildiğinde katı ve dengeli promptlar aynı sonucu verdi).
Kökteki sorun, 'yeterli mi değil mi' sınırının tek boyutlu olmaması: kim tüketiyor, nerede devreye alınıyor, hata olursa ne kavuruyor — bu üç eksen birbirinden bağımsız ve gerçek çıktıların çoğu bu üç boyutlu yüzeyin iç kısmında, birden fazla savunulabilir sınırın kesiştiği bölgede duruyor. Bu nedenle hiçbir model, prompt ya da oylama şeması belirsizliği ortadan kaldıramıyor; sadece aynı yüzey üzerinde farklı bir noktaya taşıyor.
Pratik çıkarım: duvarı kırmaya çalışmak yerine etrafında tasarım yapmak. Ucuz deterministik kurallar (uzunluk, anahtar kelime, format) bariz çöpü ayıklıyor, tek bir kalibre edilmiş LLM çağrısı semantik artığı değerlendiriyor, bölünmüş kararlar ise insana yükseltiliyor. Yanlış pozitif-yanlış negatif dengesi yapısal bir seçim; tasarımcının görevi bunu göz ardı etmek değil, bilinçli şekilde seçmek.