Foreman: Kendi Sunucunda Çalışan Maliyet Bilinçli LLM Gateway
Foreman, kodlama ajanları ile LLM sağlayıcıları arasında duran açık kaynaklı gateway; maliyete göre model seçip prompt cache'i korur, harcamaları kaydeder.
Foreman, tek bir Go binary'si olarak kodlama ajanı ile çok sayıda LLM sağlayıcısı arasına yerleşen self-hosted bir gateway. API anahtarları ve trafik ağ dışına çıkmıyor; kullanıcı tarafından tanımlanan politika ile istekler cheap/mid/frontier gibi katmanlara ayrılıyor, her katman içinde en uygun fiyatlı sağlıklı model seçiliyor. Yüksek riskli veya planlama gerektiren işler her zaman frontier modele düşerken rutin işler daha ucuz modellere yönlendiriliyor.
Araç, oturum kimliğine göre bir konuşmayı sağlayıcının prompt cache'i sıcak kaldığı sürece aynı modele sabitliyor; böylece maliyet optimizasyonu cache'i boşa harcamıyor. Sağlayıcı hatalarında circuit breaker devreye girip istekleri alternatif rotalara yönlendiriyor. Her istek SQLite veya Postgres tabanlı bir deftere kaydediliyor; ölçülen token ve maliyetin yanı sıra hangi modelin neden seçildiği ve hangi alternatiflerin elendiği de saklanıyor.
CLI araçları (top, spend, models, trace) ve aynı verileri sunan JSON API'ler sayesinde ekipler kendi dashboard'larını kurabiliyor. Anthropic formatındaki istemcilerin OpenAI uyumlu sağlayıcılarla (ör. Qwen, GLM) çalışabilmesi için araç çağrıları da protokoller arasında çevriliyor. Apache-2.0 lisanslı proje, LLM maliyetlerini şeffaf ve denetlenebilir şekilde yönetmek isteyen mühendisler için pratik bir altyapı sunuyor.