Yerel LLM'lere sıfıra yakın maliyetli deterministik hafıza katmanı

Bir geliştirici, GPT-2'den Llama ve Qwen'e (124M-7B parametre) kadar dondurulmuş herhangi bir modele takılabilen küçük bir hafıza katmanı geliştirdi. Amaç modeli yenmek değil; temel modelin yapısal olarak yapamadığı şeyi eklemek: bağlam penceresi dışındaki gerçekleri hatırlamak ve revize etmek. Qwen2.5-7B (4-bit) üzerinde test edilen sistem, 30.000 gerçek Wikipedia bilgisini yalnızca 14.7 MB'ta %100 hatırlama ve sıfır unutma ile saklayabiliyor; pencere dışı sorular temel modelde 0/10 başarıyla cevaplanırken hafıza eklendiğinde 10/10'a çıkıyor.

Asıl dikkat çekici nokta ölçeklenme: standart transformer dikkat mekanizması O(N²) büyüyor ve 24 GB'lık bir GPU'da yaklaşık 79.000 token'da belleği tüketiyor. Aynı model, sabit pencere ve bu hafıza katmanıyla 20 milyar token'lık bir akışı, süreç belleği (RSS) sabit kalacak şekilde sıfır büyüme ile işleyebiliyor — yani sürekli çalışan bir sistem için pratik bir fark.

Modellenen maliyet karşılaştırması da çarpıcı: 1 milyon kullanıcı için uzun bağlam yaklaşımı (her sorguda kullanıcı gerçeklerini yeniden gönderme) ayda ~3 milyon dolara mal olurken pencereyi aşınca çöküyor; RAG tabanlı vektör veritabanı ayda 45-165 bin dolar sürekli altyapı maliyeti getiriyor; bu hafıza katmanı ise ek bağlam token'ı ya da vektör veritabanı gerektirmediği için marjinal maliyeti pratikte sıfır — cihaz üzerinde çalıştığında sunucu maliyeti de sıfır. Bilinen bir gerçek ~0.1 mikrosaniyede ve sıfır model çağrısıyla yanıtlanıyor.

Dürüst sınır şu: sıfıra yaklaşan şey hafıza/bağlam katmanının maliyeti, modelin kendisi çalıştığında hâlâ hesaplama maliyeti ödeniyor. Sistem akıl yürütme değil, sadece deterministik ve denetlenebilir bir gerçek hafızası sunuyor; şimdilik yalnızca genel Wikipedia verileriyle ve 7B modelde 4-bit hassasiyetle test edildi. Kod AGPL-3.0 lisansıyla açık ve tek komutla yeniden üretilebilir.