Bir AI Ajanının Token Kullanımını %94 Azaltan Derleme Yöntemi
Bir AI ajanının tekrarlayan iş akışını koda 'derleyerek' token kullanımını %94 azaltan yöntem ve arkasındaki teşvik ekonomisi.
Yazar, günlük çalışan bir LinkedIn taslak-oluşturma ajanını inceleyerek doğal dilde yazılmış bir 'skill' dosyasının zamanla nasıl kristalleştiğini gösteriyor. İlk sürüm, her çalıştırmada büyük bir dil modelinin kaynak tarama, geçmiş kontrolü ve seçim kriterlerini baştan yorumlamasını gerektiriyordu; oysa bu adımların çoğu artık keşif gerektirmiyordu.
Çözüm, geçmiş çalıştırma izlerini (trace) ve orijinal doğal dil talimatlarını güçlü bir modele vererek hangi adımların gerçekten LLM gerektirdiğini, hangilerinin deterministik koda dönüştürülebileceğini belirletmek oldu. Sonuçta ortaya çıkan özel harness, yalnızca aday seçimi ve metin üretimi için model çağrısı yapıyor; geri kalan her şey sıradan Python kodu. Sonuç: %94 daha az token, %87 daha düşük gecikme, aynı çıktı kalitesi.
Mühendisler için önemi net: tekrarlayan ajan iş akışlarını sonsuza dek doğal dilde tutmak, modelin her seferinde aynı planı yeniden keşfetmesine token ödemek anlamına geliyor. Yazar ayrıca büyük model sağlayıcılarının gelir modelinin token satışına dayandığını, dolayısıyla bu tür optimizasyonların kullanıcılar ve bağımsız geliştiriciler tarafından keşfedilmesi gerektiğini savunuyor.