Yapay Zeka Ajanına Kalıcı Hafıza: Bir LLM Wiki Nasıl Kuruldu
Bir ekip, canlı ve sürekli değişen kaynaklar üzerinde kalıcı bir LLM Wiki hafıza katmanı kurdu; dört arama yönteminin hız ve doğruluk dengesini test etti.
Bir ekip, her soruda aynı belgeleri yeniden tarayıp aynı sonuçları yeniden türeten klasik RAG yaklaşımından vazgeçip, Andrej Karpathy'nin ortaya attığı "LLM Wiki" fikrini üretime taşıdı: ham kaynakları sorgu anında çekmek yerine, öğrenilen bilgiyi bir kez derleyip markdown dosyaları halinde sakladılar ve her seferinde yeniden kullandılar.
Asıl zorluk, akademik çalışmaların henüz ele almadığı bir noktada çıktı: kaynaklar (Notion, GDrive, Slack, web) statik dosyalar değil, sessizce değişen paylaşımlı sistemler. Bir belge güncellendiğinde veya yeni bilgi eklendiğinde ekibin haberi olmuyor. Çözüm olarak haftalık bir "lint" işiyle çelişkiler ve eskimiş bilgiler tespit ediliyor, ayrıca her sorguda wiki'deki her bir gerçek kaynağına karşı yeniden doğrulanıyor.
Wiki, kategoriye göre bölünmüş alt-wiki'lerden oluşuyor; her seviyede index.md dosyaları LLM'in yapıyı yukarıdan aşağıya gezmesini sağlıyor. Sorular geldikçe wiki kendi kendini dolduruyor: ilgili girdiler doğrulanıyor, yeni bilgiler ekleniyor ve olumlu geri bildirim alan cevaplar kalıcı girdilere dönüştürülüyor.
Ekip dört farklı arama stratejisini (grep, BM25+FTS5, vektör arama, LLM değerlendirmesi) 88 girdilik gerçek bir wiki üzerinde 24 sorguyla test etti. Grep yetersiz kaldı, LLM değerlendirmesi en doğru sonuçları verdi ama 69 saniyelik gecikmeyle çok pahalıydı; BM25 ise milisaniyeler içinde neredeyse aynı kaliteyi sunarak pratik bir orta yol oldu.