Ajan Token Maliyetini %60 Azaltan 4 Katmanlı Altyapı
Ajan token maliyetini %60 düşüren 4 katmanlı altyapı: span ölçümü, 3 katmanlı önbellek, prompt sıkıştırma ve karmaşıklık bazlı model yönlendirme.
Bir mühendis, çok adımlı ajan iş akışlarındaki token harcamasını instrumentasyon, çok katmanlı önbellekleme, prompt sıkıştırma ve karmaşıklık bazlı model yönlendirme ile %60 azalttığını anlatıyor. Ölçüm olmadan optimizasyonun mümkün olmadığı vurgulanıyor; span bazlı loglama, aşırı bağlam gönderiminin gizli maliyetini ortaya çıkarmış.
Üç katmanlı önbellek (tam eşleşme, semantik yakın eşleşme, LRU) çağrıların %30-35'inin modele hiç gitmemesini sağlıyor; görev tipine göre farklı TTL kullanmak halüsinasyonu önlüyor. Prompt sıkıştırma; gereksiz sistem talimatlarını, şişirilmiş araç tanımlarını ve eski konuşma turlarını özetleyerek girdi tokenlarında %20-30 tasarruf sağlıyor.
En büyük kazanç ise basit bir formülle hesaplanan karmaşıklık skoruna göre çağrıların ucuz, orta veya frontier modele yönlendirilmesinden geliyor; çağrıların yaklaşık %60'ı ucuz modele düşüyor ve kalite düşmüyor. Yazar, spekülatif yürütme ve öğrenilmiş semantik benzerlik fonksiyonlarıyla tasarrufun %70'i aşabileceğini öngörüyor — bu, ajan mühendisliğinde altyapı disiplininin model seçimi kadar kritik olduğunu gösteriyor.