Microsoft'ın Üç Katmanlı LLM Yönlendirme Mimarisi
Microsoft, Azure Kubernetes Service için üç katmanlı LLM yönlendirme mimarisini tanıttı. Ajan trafiğini etkili bir şekilde yönetmek için tasarlandı.
Microsoft, Azure Kubernetes Service üzerinde ajan trafiğini yönlendirmek için bir referans mimarisi yayınladı. Bu mimari, hangi modelin çağrıyı yanıtlayacağı, çağrının nasıl yönetileceği ve hangi GPU kopyasının işleyeceği gibi üç ana seçeneği ele alıyor. Yapı, yük dengelemesi için Kubernetes Gateway API Inference Extension, AI proxy olarak agentgateway ve anlamsal yönlendirme için RouteLLM'yi birleştiriyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz