Token Drift Nedir: Ajanınız Neden Yavaşlayıp Pahalılaşıyor
LLM ajanlarında token drift nedir, oturum maliyeti neden kuadratik büyür ve bağlam bütçesi ile nasıl kontrol edilir açıklanıyor.
Demo sırasında hızlı çalışan bir LLM ajanı, gerçek bir oturumda yirminci turda yavaşlayıp maliyeti artabilir. Bunun nedeni modelin verimsizleşmesi değil, her çağrıda modele gönderilen bağlamın (konuşma geçmişi, araç çıktıları, alınan belgeler, durum bilgisi) sürekli büyümesidir. Bu makale bu olguyu 'token drift' olarak tanımlıyor ve kümülatif oturum maliyetinin tur sayısına göre neden ikinci dereceden (kuadratik) büyüyebileceğini matematiksel olarak gösteriyor.
Sorunun kaynağı sadece mesaj sayısı değil: büyük araç şemaları, aşırı büyük araç sonuçları, gereksiz RAG parçaları, başarısız yeniden denemelerin biriktirdiği kayıtlar ve aynı bilginin özet/durum/ham metinde tekrarlanması gibi birçok kaynak aynı anda token tüketimini artırabiliyor. Bu yüzden sabit mesaj limiti koymak yeterli bir çözüm değil.
Mühendisler için pratik çözüm önerileri arasında; token kullanımını karakter tahmini yerine gerçek API kullanım verileriyle ölçmek, mesaj sayısı yerine token bütçesi bazlı bağlam yönetimi kurmak, bir konuşma turunu bölünmez birim olarak ele almak ve kalıcı durumu (görev hedefleri, kararlar, kısıtlar) serbest metin özetten ayrı, yapılandırılmış biçimde saklamak yer alıyor. Bu yaklaşım, uzun süre çalışan ajanların hem maliyetini hem de güvenilirliğini kontrol altında tutmaya yardımcı oluyor.