VetoBench: Ajan Belleği Reddedilen Kararları Hatırlıyor mu?
VetoBench, ajan bellek sistemlerinin reddedilen kararları (vetoları) hatırlayıp hatırlamadığını test eden açık kaynaklı bir kıyaslama.
Çoğu bellek karşılaştırması (Recall@k, MRR) yalnızca doğru bilginin geri çağrılıp çağrılmadığına bakar. VetoBench ise farklı bir soru soruyor: ajan daha önce reddedilen bir çözümü (ör. "Redis'i denedik, çöktü") tekrar önerir mi? Kıyaslama, 24 sentetik mühendislik kararından 10'una yapılandırılmış bir "reddedildi" alanı ekleyip, bu reddi tetikleyecek görevler tasarlıyor ve ihlalleri deterministik bir yargıçla (LLM yargıç değil) sayıyor.
Bellek olmadan ajan görevlerin %80-90'ında reddedilen yaklaşımı yeniden önerdi. Reddleri düz metin olarak bağlama eklemek bu oranı sıfıra indirdi — asıl mesele bilginin saklanması, alım kalitesi değil. Gerçek Mem0 ([email protected]) ile yapılan testte genel ihlal oranı düşük görünse de (%0-20), arşivlenen alım bağlamlarının %38'inde (19/50) reddin ayıklama aşamasında kaybolduğu, ve ret bilgisi kaybolduğunda ihlal oranının %26'ya çıktığı (mevcut olduğunda %3) tespit edildi — özetleme boru hatları negatif bilgiyi ("X reddedildi") tutmaya eğilimli değil.
Aynı transkriptler RoBrain'in kendi üretim ayıklayıcısından geçirildiğinde sonuç net: 100/100 ret hayatta kaldı, 50/50 bağlamda mevcuttu, 0/50 ihlal. Fark yapısal — RoBrain'in ayıklama istemi "reddedildi" alanını birinci sınıf çıktı olarak talep ediyor. Yazar dürüstçe sınırları da belirtiyor: bu boyuttaki bir corpus'ta düz dosya yaklaşımı da aynı performansı gösteriyor, avantaj yalnızca büyük ölçekte (yüzlerce karar) iddia ediliyor. Kıyaslama açık kaynak ve üçüncü taraf bellek sistemleri için adaptör kabul ediyor.