Kalıcı AI Ajan Belleği: Maliyet Sorunu Aslında Yazma Yolunda
AI ajan belleğinde maliyetin asıl kaynağı yazma yolundaki LLM çağrılarıdır. Mühendisler için pratik optimizasyon kaldıraçları ve hata senaryoları.
AI ajanlarına bellek eklemek genellikle bir kalite meselesi gibi ele alınır: kullanıcı tercihlerini hatırlamak, oturumlar arası bağlamı korumak. Ancak operasyonel açıdan asıl zorluk burada değil: her turda çalışan yazma yolu, bir LLM çağrısı gerektirir. Bir kez indekslenen RAG sistemlerinin aksine, ajan belleği her kullanıcı için her turda çıkarım, tekilleştirme ve çelişki çözümü yeniden çalıştırır.
Üretim ortamlarında profil çıkarıldığında maliyetin neredeyse tamamı çıkarım (extraction) LLM çağrısında toplanır (%60-75), uzlaştırma (consolidation) ikinci sıradadır (%10-20); vektör arama ve embedding payı küçüktür. Gecikme tablosu ise tam tersine döner: okuma yolu kullanıcı başına ve dar kapsamlı olduğu için (bir kullanıcının belleği aranır, milyonlarca kullanıcının değil), ANN araması düşük milisaniye seviyesinde kalır; yazma yolu ise arka planda çalışabildiği için kritik yol dışındadır.
Buradan çıkan kaldıraçlar nettir: yazmaları asenkron yapıp toplu işlemek, her turda çıkarım yapmak yerine ucuz bir sınıflandırıcıyla eleme yapmak, çıkarım ve uzlaştırma için daha küçük/ayarlanmış modeller kullanmak, düşük önemli anıları zaman aşımına uğratarak çalışma setini sınırlamak, indeksi kuantize etmek ve reranking'i yalnızca gerektiğinde devreye almak.
Bu disiplin göz ardı edildiğinde üç tipik hata ortaya çıkar: kullanım süresiyle orantılı büyüyen maliyet, ham trafiğe bağlı çıkarım maliyeti ve yük altında yazma yolunun gecikmesinin okuma yoluna sızması. Çözüm, CPU yerine dil modelleri üzerinde çalışan bir sistem için kapasite planlaması yapmaktır: yazma yolunu ölçeklemeden önce boyutlandırmak, kullanıcı başına bellek üst sınırı koymak ve ağır işleri okuma yolundan uzak tutmak.