Relay: Değerlendirmeyle Kapılı Akıllı Yönlendirme Sunan Kendi Sunucunda LLM Ağ Geçidi

Relay, tek bir statik Go ikili dosyası olarak dağıtılan, kendi sunucunuzda çalıştırdığınız bir LLM ağ geçidi ve model yönlendiricisi. Gelen tarafta hem OpenAI hem Anthropic API sözdizimlerini destekliyor, giden tarafta ise kendi API anahtarlarınızla OpenAI, Anthropic, Gemini, Groq, DeepSeek, Mistral, xAI ve yerel Ollama dahil herhangi bir sağlayıcıya yönlendirme yapabiliyor. Statik alias'lardan öğrenen 'akıllı' katmana kadar uzanan yönlendirme politikaları, projeyle birlikte gelen bir değerlendirme (eval) sistemi tarafından kapı bekçiliğine tabi tutuluyor.

Projenin öne çıkan yanı şeffaflığı: 49 istemlik bir tutulmuş veri setinde, canlı yargıç modeliyle yapılan ölçümler basit 'en ucuz model' politikasının, her zaman en üst düzey (frontier) modele gitme politikasına göre kalite kaybı olmadan yaklaşık %98 maliyet tasarrufu sağladığını; buna karşın sözcük tabanlı (lexical) akıllı yönlendirme katmanının kendi belirlediği eşiği geçemediğini gösteriyor. Bu yüzden akıllı yönlendirme varsayılan olarak kapalı tutuluyor ve yalnızca kendi trafiğinizde kanıtlanmış eşiği aşarsa etkinleştirilmesi öneriliyor.

Mühendisler için önemi: sıfır telemetri (opt-in ping bile yok), Apache-2.0 lisansı, ölçülen ağ geçidi ek gecikmesinin CI tarafından zorunlu kılınan 5 ms bütçesinin çok altında (~0.18 ms) kalması ve isteklerin asla üçüncü bir tarafa geçmemesi gibi tasarım kararları, LiteLLM veya OpenRouter gibi alternatiflere kıyasla veri gizliliğine ve doğrulanabilir performansa öncelik veren ekipler için somut bir seçenek sunuyor.