LLMrPro: Kendi Donanımınızla Çalışan Açık Kaynak LLM Dengeleyici

LLMrPro, kendi kendine barındırılan bir LLM yönlendiricisi olarak tek bir OpenAI uyumlu API sunuyor ve gelen istekleri sahip olduğunuz masaüstü/iş istasyonu/sunucu havuzuna dağıtıyor. Her makinede LM Studio, Ollama, vLLM, llama.cpp veya macOS'ta gömülü MLX motoru çalışıyor; hiçbir yerel işçi isteği karşılayamazsa istek, o katman için önceden tanımlanmış bir bulut sağlayıcıya (OpenAI, Anthropic, Google, Azure OpenAI) otomatik olarak düşüyor.

Sistem frontier, mini ve nano olmak üzere üç katmanlı çalışıyor; her katmanın kendi bulut yedeği ve yeniden deneme/backoff ayarları var. Masaüstü ajanları balancer'a giden bağlantı üzerinden (inbound port gerektirmeden) iş çekiyor, bu da kurumsal ağlarda ve NAT arkasındaki makinelerde dağıtımı basitleştiriyor. Yönetici arayüzü cihaz eşleme, ajan iptali, katman yapılandırması ve gerçek zamanlı sağlık/gönderim günlükleri sunuyor.

Projeyi ayıran nokta; dağıtık çıkarım araçları (exo, Petals), LLM ağ geçitleri (LiteLLM, Bifrost) ve GPU filo yöneticileri (GPUStack, Kalavai) gibi çözümlerin parçalarını tek çatı altında birleştirmesi: imzalı bir ajan üzerinden son kullanıcı masaüstülerini federe eden, katman bazlı bulut yedeklemesi olan, tek kiracılı ve kendi kendine barındırılan bir sistem. Mühendisler için önemi, mevcut donanım yatırımını (özellikle Apple Silicon/MLX dahil) üretim trafiğine katmak, veri ve anahtarları kontrol altında tutmak, gerektiğinde sorunsuz bulut geçişi yapmak.