LLM-as-a-Verifier: Doğrulamayı Yeni Bir Ölçekleme Ekseni Yapıyor
Yeni araştırma, LLM'lerin çözüm doğruluğunu değerlendirme yeteneğini eğitimsiz bir doğrulama çerçevesiyle ölçeklendiriyor; SWE-Bench ve Terminal-Bench'te SOTA sonuçlar elde ediyor.
LLM-as-a-Verifier adlı çalışma, büyük dil modellerinin ön eğitim, sonradan eğitim ve test-zamanı hesaplama gibi bilinen ölçekleme eksenlerine ek olarak, bir çözümün doğruluğunu değerlendirme yeteneği olan 'doğrulama'yı yeni bir ölçekleme ekseni olarak öne sürüyor. Klasik LM hakemlerinin ayrık skorlar üretmesinin aksine, bu çerçeve skor token'larının logit dağılımı üzerinden beklenen değeri hesaplayarak sürekli skorlar üretiyor. Bu olasılıksal yaklaşım, skor granülaritesi, tekrarlı değerlendirme ve kriter ayrıştırması gibi birden fazla boyutta ölçeklendirmeye olanak tanıyor.
Araştırmacılar, skor granülaritesinin artırılmasının pozitif ve negatif çözümler arasındaki ayrımı belirginleştirdiğini, tekrarlı değerlendirme ile kriter ayrıştırmasının ise varyans ve karmaşıklığı azaltarak doğrulama doğruluğunu tutarlı biçimde artırdığını gösteriyor. Ayrıca sürekli skorları kullanan maliyet-etkin bir sıralama algoritması sunuluyor. Sistem, Terminal-Bench V2, SWE-Bench Verified, RoboRewardBench ve MedAgentBench gibi zorlu ajan görevlerinde ekstra eğitim gerektirmeden en iyi (SOTA) sonuçları elde ediyor.
Mühendisler açısından önemi, bu ince taneli sinyallerin sadece nihai doğrulama için değil, görev ilerlemesini tahmin etmek için de kullanılabilmesinde yatıyor; bunun için Claude Code'a bir eklenti geliştirilmiş. Ayrıca bu geri bildirim, robotik ve matematiksel muhakeme görevlerinde SAC ve GRPO gibi pekiştirmeli öğrenme yöntemlerinin örneklem verimliliğini artırmak için de kullanılabiliyor; bu da ajan sistemlerinin geliştirilmesi ve izlenmesi için pratik, eğitimsiz bir araç sunuyor.