serving-architecture

LLM Çıkarımında Gerçek Maliyet: Bellek Bant Genişliği

LLM sunumunda darboğaz FLOP değil, KV cache'in bellekten taşınma maliyeti. Prefill/decode ayrımı, batch boyutu ve context yönetimi neden asıl maliyet kalemi.