Toolgz: LLM araç tanımlarında token kullanımını %80 azaltıyor
Toolgz, LLM ajanlarında araç tanımı token kullanımını %80 azaltıp doğruluğu koruyor; 420 koşuluk çapraz sağlayıcı testiyle doğrulandı.
Toolgz, MCP sunucularından gelen araç şemalarını sıkıştırarak her istekte modele gönderilen tool-definition token'larını ortalama %80 azaltan, sıfır bağımlılıklı bir kütüphane. Dört frontier modelde (Claude Opus, Grok, Gemini, GPT) 420 koşuluk çapraz sağlayıcı testinde prompt token'ları %71-85 arasında düştü, görev başarı oranı 15/15 seviyesinde korundu ve gecikme her sağlayıcıda iyileşti.
Kütüphane, kasıtlı olarak karıştırıcı araç kümeleri (search_issues/list_issues gibi) üzerinde test edilmiş; model doğru aracı seçme yeteneğini kaybetmiyor, bunun yerine bir hafıza sorununu bir arama sorununa çeviriyor. İlk turda OpenAI'de maliyet %15 artmışken, üç ayrı argüman-eşleme hatası (q parametresi, yanlış tool adı, düz argüman yapısı) düzeltildikten sonra bu rakam %-7'ye indi ve tüm sağlayıcılarda hatalı argüman sıfırlandı.
Toolgz, recommendLevel() ile hangi sıkıştırma seviyesinin (1 veya 3) kullanılacağını otomatik öneriyor; seviye 1 tamamen ücretsiz kazanç sağlarken, seviye 3 büyük ve derin araç setlerinde asıl %80'lik kazancı veriyor. Kütüphane kendi şemanıza karşı doğrulama yapıp modelin okuyabileceği hata döndürüyor, ancak henüz frontier-dışı modellerde (örn. Haiku 4.5) seviye 3'te argüman hataları arttığı için bu durum bilinen bir sınırlama olarak belirtiliyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz