LLM Hakemlerdeki Önyargı: Aktivasyon Geometrisiyle Açıklanıyor
LLM-as-judge önyargısını aktivasyon geometrisiyle açıklayan çalışma; nedensel steering ve doğrusal problarla hata öngörüsü sunuyor.
Yeni bir araştırma, LLM-as-judge sistemlerindeki puanlama önyargısını girdi-çıktı seviyesinde değil, modelin gizli katman aktivasyonları düzeyinde inceliyor. Yedi farklı hakem modeli, yedi önyargı türü ve dokuz benchmark üzerinde yapılan analiz, önyargılı girdilerin aktivasyon uzayında düşük boyutlu, türe özgü bir alt uzaya kaydığını ve bu kaymanın katman derinliği arttıkça belirginleştiğini gösteriyor.
Araştırmacılar bu alt uzay yönünde gizli durumları müdahaleyle (steering) değiştirerek nedensellik kurmayı başarmış: ileri yönde kaydırma temiz girdilerde önyargılı puanlama üretirken, ters yönde kaydırma önyargılı girdilerde temiz puanlamayı geri getiriyor. Rastgele yön müdahaleleri ise çok daha küçük etkiler yaratıyor, bu da bulunan yönün gerçekten önyargıyı kodladığını doğruluyor.
Bulgular pratik açıdan da önemli: aynı önyargı yönü özellikleri üzerine kurulan basit bir doğrusal projeksiyon, hiç görülmemiş üç benchmark'ta hakem başarısızlıklarını metin tabanlı yöntemlerden daha iyi öngörebiliyor. Bu, LLM değerlendirme hatlarını (evaluation pipeline) tasarlayan mühendisler için önyargı tespitine yeni, mekanistik bir yaklaşım sunuyor.