WANDR Benchmarkı: Geniş ve Derin Araştırma Yapan Ajanları Test Ediyor
WANDR benchmarkı, geniş ve derin araştırma ajanlarını kanıta dayalı, referanssız bir yöntemle değerlendiriyor; en iyi sistem bile düşük skorlar aldı.
WANDR, bilgi işi için 500 gerçekçi veri toplama görevinden oluşan açık bir benchmark ve değerlendirme altyapısıdır. DRACO'nun aksine tek bir uzun rapor yerine, ajanın geniş bir koleksiyon oluşturup her üyeyi kanıtla desteklemesini ölçer. Görevler rekabet haritalama, durum tespiti, literatür taraması gibi gerçek iş akışlarından türetilmiştir ve şirket-çalışan-URL gibi iç içe doğrulama hiyerarşileri kullanır. En güçlü sistem bile yalnızca 0.363 yumuşak F1 ve 0.133 sert F1 skoruna ulaşabilmiştir. Bu sonuç, geniş ve derin araştırmanın hâlâ çözülmemiş bir problem olduğunu gösteriyor. Değerlendirme, sabit bir cevap anahtarı yerine ajanın gösterdiği kanıtları (URL ve alıntılar) yeniden çekip doğrulayan referanssız bir yöntemle yapılıyor. Bu yaklaşım, mühendislere sistemlerinin keşif, zenginleştirme, kimlik çözümleme ve kanıt çıkarma aşamalarındaki zayıf noktalarını ayrı ayrı görme imkanı sunuyor.