Docker Compose ile kendi LLM'lerinizi self-hosted çalıştırın
Ollama ve Open WebUI ile iki servisli Docker Compose yığını kurarak özel, yerel çalışan bir ChatGPT alternatifi oluşturmayı adım adım anlatan pratik rehber.
Bu içerik, kişisel ve hassas verileri bulut tabanlı LLM servislerine göndermeden yerelde çalıştırmak isteyenler için basit bir Docker Compose mimarisi sunuyor. Yığın yalnızca iki servisten oluşuyor: modelleri indirip HTTP API üzerinden sunan Ollama ve ChatGPT benzeri bir sohbet arayüzü sağlayan Open WebUI. Servisler Compose'un dahili DNS'i sayesinde birbirini servis adıyla buluyor, Ollama'nın API'si ise host'a hiç açılmıyor; bu da güvenlik açısından basit ama etkili bir önlem.
Yazı, GPU geçişinin (NVIDIA Container Toolkit ve deploy bloğundaki capabilities/device_ids ayarları) en çok takılınan nokta olduğunu vurguluyor ve doğru yapılandırmanın modelleri VRAM'de çalıştırıp gerçek zamanlı kullanılabilir bir deneyim sağladığını belirtiyor. GPU olmadan da deploy bloğu kaldırılarak CPU-only modda çalışabiliyor, ancak büyük modellerde performans ciddi şekilde düşüyor. Named volume'ler sayesinde modeller ve sohbet geçmişi kalıcı hale geliyor, healthcheck ise Docker'a gerçek bir hazır olma sinyali veriyor.
Mühendisler için önemi şurada: maliyet, gizlilik ve gecikme açısından yerel LLM çalıştırmak artık karmaşık bir proje değil, beş dakikalık bir kurulum. Özellikle özel notlar, yarı olgun fikirler ve kişisel veriler gibi bulut'a gitmemesi gereken içerikler için, açık kaynaklı modellerin günlük özetleme, taslak hazırlama ve kodlama yardımı gibi görevlerde yeterince iyi olduğu; ancak en karmaşık işler için bulut tabanlı frontier modellerin hâlâ avantajlı kaldığı belirtiliyor.