VetoBench: Yapay Zeka Ajanları Reddedilen Fikirleri Unutuyor mu?

VetoBench, yapay zeka ajanlarının hafıza sistemlerini farklı bir açıdan test eden açık kaynaklı bir benchmark: doğru bilginin geri getirilip getirilmediğini değil, ekibin daha önce reddettiği bir yaklaşımın tekrar önerilip önerilmediğini ölçüyor. 24 sentetik mühendislik kararından oluşan bir veri setiyle çalışan sistem, dört farklı hafıza koşulunu (hiçbiri, standart konvansiyonlar, düz dosya, RoBrain'in beş sinyalli sıralaması) aynı senaryolara karşı test ediyor.

Sonuçlar net bir örüntü ortaya koyuyor: hafızası olmayan bir ajan görevlerin yüzde 80-90'ında daha önce reddedilen yaklaşımı tekrar önerirken, veto bilgisi bağlama düz metin olarak ya da RoBrain'in sıralamasıyla eklendiğinde bu oran sıfıra iniyor. Üçüncü parti bir sistem olan Mem0 ile yapılan testler ise farklı bir zafiyeti gösteriyor: reddedilen kararların yüzde 38'i çıkarım (extraction) sırasında kayboluyor ve veto bilgisi kaybolan hücrelerde ihlal oranı, veto korunan hücrelere göre yaklaşık sekiz kat daha yüksek çıkıyor.

Benchmark ayrıca RoBrain'in kendi uçtan uca çıkarım hattını da (robrain-e2e) test ederek adil bir karşılaştırma sunuyor; bu koşulda 100 vetonun tamamı çıkarım aşamasını sorunsuz geçiyor. Tüm çalıştırmalar, ham bağlamlar ve ajan yanıtlarıyla birlikte arşivlenerek yeniden üretilebilir hale getirilmiş.

Mühendisler için önemi şu: hafıza sistemlerini değerlendirirken sadece 'doğru bilgi getirildi mi' sorusu yeterli değil; asıl maliyetli hata, ekibin zaten kapattığı bir tartışmanın tekrar açılmasıdır. VetoBench bu köşeyi ölçmek için basit, tekrarlanabilir ve dürüst bir metodoloji sunuyor.