Token Governor: LLM Maliyetini Kısan Akıllı Gateway

Token Governor, LLM çağrılarının maliyetini azaltmak için promptları en az token harcayacak şekilde yeniden düzenleyen bir araç ve aynı zamanda gerçek bir yönlendirme (gateway) katmanı sunuyor. Tek modda kullanıcı bir prompt kurgular, kısıtlar (kısalık, çıktı biçimi, sıcaklık gibi) uygular ve aracın gerçekten tasarruf sağlayıp sağlamadığını gösteren bir projeksiyon ile 'değer mi/değmez mi' kararı alır. Toplu modda ise birden fazla prompt puanlanarak hangilerinin aslında bir modele hiç ihtiyaç duymadığı (deterministik olduğu) tespit edilir ve CSV/Markdown çıktısıyla raporlanır.

Sistem, Anthropic ve OpenAI uyumlu tüm sağlayıcılarla (Gemini, Groq, OpenRouter, yerel Ollama/vLLM dahil) çalışacak şekilde sağlayıcıdan bağımsız tasarlanmış; tek bir adaptör dosyası üzerinden yeni sağlayıcı eklemeyi kolaylaştırıyor. Canlı A/B paneli, aynı promptu ham ve governanslı haliyle sunucu taraflı proxy üzerinden iki kez çalıştırıp gerçek token sayımlarını karşılaştırıyor.

Asıl ilginç kısım, aracın sadece bir analiz paneli değil, mevcut uygulamalara entegre edilebilen bir çalışma zamanı gateway'i olması: mevcut SDK'nın base_url'i buraya yönlendirildiğinde her çağrı otomatik olarak kısıtlanıyor, max_tokens sınırlanıyor, isteğe bağlı olarak deterministik promptlar engellenebiliyor ve akış (streaming) davranışı bozulmadan geri iletiliyor. Politikalar (default, terse, strict, passthrough) header üzerinden anlık seçilebiliyor, bu da geliştiricilere üretim ortamında token maliyetini gözlemleyip kontrol etme imkânı veriyor. CI'a entegre edilebilen sağlık kontrolleri de dağıtım öncesi doğrulamayı kolaylaştırıyor.