Yapay Zeka Ajanları Neden Unutur: Bellek Tasarım Sorunu
LLM API'leri durumsuzdur; her istek bağımsızdır ve bağlam penceresi gerçek bellek değildir. Bu mimari tercih, üretimde maliyet, gecikme ve tutarsızlık sorunlarına yol açar.
OpenAI, Anthropic ve Google'ın büyük dil modeli API'leri kasıtlı olarak durumsuz (stateless) tasarlanmıştır: sunucu hiçbir oturum veya önceki tur bilgisini saklamaz. Model her istekte yalnızca uygulamanın mesaj dizisine koyduğu şeyi "hatırlar". Bu mühendislik açısından mantıklı bir tercihtir; yatay ölçeklenmeyi kolaylaştırır ve durumla ilgili güvenlik hatalarını önler. Ancak bu, ajan geliştiricilerinin üzerine inşa ettiği tüm bellek mantığının sorumluluğunu tamamen uygulama katmanına yüklediği anlamına gelir.
Yaygın çözüm olan tüm geçmişi her seferinde yeniden göndermek, üç ayrı sorunla ölçeklenmeden önce çöker: maliyet (uzun oturumlarda giriş token maliyetleri hızla katlanır; önbellekleme yardımcı olsa da mimariyi ortadan kaldırmaz), gecikme (büyük bağlamlar ilk token süresini uzatır) ve en kritik olanı model performansı. "Lost in the Middle" araştırması, modellerin uzun bağlamın ortasındaki bilgileri başındaki veya sonundaki bilgilere göre çok daha kötü hatırladığını göstermektedir. Yani daha büyük bağlam pencereleri gerçek bir bellek mimarisi değil, geçici bir çözümdür ve bu çözümün bir tavanı vardır.
Bu mimari eksiklik, üretimde dört farklı hata modeline yol açar: kullanıcıların her oturumda kendilerini yeniden anlatmak zorunda kalması, oturum sonunda öğrenilen bilginin buharlaşması, çelişkili bilgilerin (örneğin veritabanı değişikliği) hangisinin güncel olduğunu belirleyecek bir mekanizma olmadan aynı anda var olması ve modelin bilmediği bir şey karşısında kabul etmek yerine inandırıcı biçimde uydurma yapması. Mühendisler için bu, bellek yönetimini modelin bir özelliği değil, uygulamanın tasarlaması gereken ayrı bir katman olarak ele almaları gerektiği anlamına gelir.