VisionBridge: Metin tabanlı LLM'lere görüntü yeteneği kazandıran MIT proxy
VisionBridge, OpenAI uyumlu küçük bir proxy ile herhangi bir metin LLM'ini ayrı bir görme modeliyle görüntüleri analiz edebilir hale getiriyor. Eğitim ya da ağırlık gerekmiyor.
VisionBridge, sohbet arayüzü ile modeller arasına oturan açık kaynaklı bir proxy sunarak metin tabanlı akıl yürütme modellerine (LM Studio, Ollama, vLLM, Z.ai, OpenRouter gibi backend'lerden) görüntü görme yeteneği kazandırıyor. Sistem, gelen isteklerde görüntü tespit ettiğinde bunları saklıyor, prompt'u yeniden yazıyor ve akıl yürütme modelinin look, ocr, scan, crop_and_look ve compare gibi araçlarla ayrı bir görme modelini (LLaVA, Qwen-VL, GPT-4o-mini vb.) sorgulamasına izin veriyor. Böylece görme işini vision model, düşünme işini ise reasoning model üstleniyor.
Mimari, döngü başlamadan önce her görüntü için tek seferlik bir sahne açıklaması üretip modelin genel bağlamla başlamasını sağlıyor; aynı anda birden fazla araç çağrısı paralel çalışabiliyor ve tekrarlanan görüntüler içerik tabanlı bir önbellekten sunuluyor. Araç çağırma varsayılan olarak native OpenAI function calling'i deniyor, desteklenmiyorsa prompt-JSON protokolüne düşüyor; bu sayede hem güçlü hosted modellerle hem zayıf yerel modellerle çalışabiliyor. Hatalı görüntü kimlikleri, bozuk JSON veya vision backend arızaları gibi durumlar modele gözlem olarak geri besleniyor, böylece kendini düzeltebiliyor.
Docker üzerinden tek komutla ayağa kaldırılabilen proje, LM Studio, Ollama ve vLLM gibi popüler backend'leri desteklemenin yanı sıra tek bir örnekte birden fazla reasoning+vision model çiftini farklı model isimleri altında sunabiliyor. SSRF koruması, boyut sınırları ve isteğe bağlı Bearer key doğrulaması gibi güvenlik önlemleri de mevcut. Mühendisler için önemi, mevcut açık kaynak veya hosted LLM altyapısına ek eğitim ya da özel ağırlık gerektirmeden görsel anlama yeteneği eklemenin düşük maliyetli bir yolunu sunması ve /v1/traces uç noktasıyla araç çağrılarının tam izlenebilirliğini sağlaması.