Maestro AI: Gereksiz Sonnet Harcamasını Önleyen LLM Router

Maestro AI, Cursor ve Claude Code gibi ajan tabanlı geliştirme ortamlarında her alt görev için tek bir pahalı modele (ör. Claude Sonnet) bağımlı kalmayı önlemeyi hedefleyen harness-bağımsız bir yönlendirme katmanı. Sistem, gelen isteği önce sezgisel kurallarla (anahtar kelime, bağlam boyutu, araç kullanımı) sınıflandırıyor; basit bir özet veya HTML taslağı yerel Llama'ya, orta seviye bir refactor barındırılan Qwen Coder'a, mimari kararlar ise Sonnet'e yönlendiriliyor.

Projenin asıl mühendislik değeri, karar ağacının ötesinde: her LLM çağrısından sonra boş yanıt, ret cümlesi, bozuk JSON veya sessiz token kaybı gibi kalite sorunlarını kontrol eden bir doğrulama-yükseltme döngüsü var. Altyapı çökmelerine karşı katman-içi fallback (LiteLLM çökerse Ollama'ya düşüp yine de aynı kalite katmanında kalmak) ve oturum bazlı bütçe/maksimum katman sınırları da eklenmiş; böylece uzun bir ajan oturumu fark edilmeden pahalı modele kaymıyor.

Maestro, MCP sunucusu ve npm paketi (maestro-ai) olarak dağıtılıyor; CLI, MCP entegrasyonu ve Node projelerinde programatik kullanım (routedLLMCall, dryRunRoute) destekleniyor. Geliştiriciler için asıl mesaj, model seçimini sohbet başına değil çağrı başına otomatikleştirmenin, hem maliyeti hem de kaliteyi aynı anda korumanın pratik bir yolu olduğu.