LLM Yargıçlarının Anlaşması: Güvenilirlik Sorusu
LLM yargıçlarının bağımsızlığı, çoğunluk oylamasından daha önemlidir. Yeni yöntem, yargıç ilişkilerini modelleyerek güvenilirliği artırmayı hedefliyor.
Bir retrieval-augmented-generation sisteminin değerlendirilmesi, bir kullanıcının bir soru sormasıyla başlar. Sistem, bir metin parçası getirir ve LLM yargıcı bunun alaka düzeyini belirler. Ancak, yargıçların bağımsızlığı, toplam oylama sayısından daha önemlidir. Eğer yargıçlar benzer hatalar yapıyorsa, bu durum çoğunluğun güvenilirliğini azaltır. Bu sorunu ele alan yeni bir yöntem, yargıçların çıktıları arasındaki ilişkileri modelleyerek daha güvenilir bir sonuç elde etmeyi amaçlıyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz