Markdown Bilgi Grafiğini Yapay Zeka Ajan Belleği Olarak Ölçmek

IWE ekibi, düz metin markdown dosyalarından oluşan ve birbirine bağlantılarla örülen bir bilgi grafiğinin, gömme (embedding) tabanlı barındırılan 'bellek katmanları' yerine geçebilecek bir yapay zeka ajan belleği olup olamayacağını test etti. Bunun için memory-sistemi literatüründe standart hale gelen LOCOMO veri setini kullanan bir benchmark kurdular; sistemler saatlerce süren kurgusal sohbetleri sindirip ardından bağlamsız sorular yanıtlıyor, cevaplar katı bir LLM hakemi tarafından doğru/yanlış olarak puanlanıyor.

Süreç boyunca benchmark defalarca ekibin hipotezini çürüttü ve her seferinde neyin düzeltilmesi gerektiğini gösterdi: arama motoru yeniden yazıldı, blok düzeyinde düzenleme dili geliştirildi, birkaç tasarım kuralı terk edildi ve ekibin kendi açıkladığı iddialı bir sonuç geri çekildi. Tüm test altyapısı claude -p üzerinden çalışan bir Rust cargo xtask ile kuruldu; izole çalışma alanları, soru setini görmeyen bir küratör ajanı ve kısmen mühürlü tutulan bir test seti gibi mekanik güvenceler, benchmarkın kendi kendini kandırmasını önledi.

Sonuçta, mekanik kısıtlarla dizginlenen ve 4,50 dolara çalıştırılan ucuz bir küratör modeli, tek bir sorgu çağrısında elle kurulmuş bir referans seviyenin yüzde 96'sına ulaşan bir markdown bellek deposu üretti. Buna karşın ham transkriptler üzerinde grep çalıştıran en sade taban yöntem, yayınlanmış bellek ürünlerinin çoğunu doğruluk açısından hâlâ geride bırakıyor — bu da yapay zeka bellek sistemlerini değerlendirirken basit yaklaşımların hafife alınmaması gerektiğini gösteriyor.