Wattage: Yapay Zeka Ajanları için Token Maliyeti Profilleyici ve CI Kapısı

Wattage, OpenTelemetry GenAI izlerini okuyup ham token sayılarını dolar cinsinden fiyatlandırılmış bulgulara dönüştüren açık kaynaklı bir CLI aracı. Sekiz farklı dedektör çalıştırıyor — sabit önek tekrarı, önbellek boşlukları, gereksiz ayrıntı, tekrarlanan araç çağrıları, yakınsamayan döngüler, verimsiz arama denemeleri, model uyumsuzluğu ve gereksiz akıl yürütme harcaması — hepsi çevrimdışı, API anahtarı gerektirmeden, gömülü bir fiyatlandırma anlık görüntüsüne karşı.

Aracın öne çıkan özelliği, ajanların ilerleme kaydetmeden döngüde sıkışıp kalmasını yakalayan yakınsama motoru. Bu motor, her denemede farklı bir zaman damgası kullanan yeniden denemeler veya iki strateji arasında salınım gibi, basit birebir-eşleşme dedektörlerinin yakalayamadığı örüntüleri de tespit edebiliyor. Elle etiketlenmiş 10 sentetik döngüden oluşan bir kıyaslamada Wattage'ın sınıflandırıcısı tam kesinlik ve duyarlılık elde ederken, SHA-256 birebir-eşleşme temel çizgisi yalnızca 0.14 duyarlılığa ulaşabildi.

Terminal raporu ve paylaşılabilir HTML alev grafiklerinin ötesinde, Wattage bir pull request token verimliliğini belirlenen eşiğin altına düşürdüğünde, maliyet artışı belirli bir yüzdeyi aştığında veya kritik bir bulgu ortaya çıktığında derlemeyi başarısız kılan bir GitHub Action sunuyor; PR yorumu olarak dedektör bazlı fark tablosu paylaşıyor, SARIF ve JUnit XML üretiyor. Ana dala her birleştirmeden sonra çalışan ayrı bir iş akışı, taahhüt edilmiş temel çizgiyi güncelleyerek regresyon kapısının zamanla güvenilir kalmasını sağlıyor.

LLM ajanları geliştiren ekipler için bu, token harcamasını kimsenin bakmadığı bir izleme panosundan, gerçek bir CI kapısına sahip, hata ayıklanabilir ve test edilebilir bir mühendislik sinyaline dönüştürüyor.