LLM Çıkarımında Gerçek Maliyet: Bellek Bant Genişliği

Büyük dil modeli çıkarım maliyetleri genellikle FLOP ve token fiyatları üzerinden tartışılıyor, ancak üretim ortamındaki gerçek darboğaz bellek bant genişliği. Autoregressive decode aşamasında her yeni token için biriken KV cache'in tamamının bellekten okunması gerekiyor; bu işlem hesaplama açısından hafif ama veri taşıma açısından ağır. Roofline modelindeki aritmetik yoğunluk metriği bu durumu net gösteriyor: decode ağırlıklı iş yükleri bant genişliği sınırlı olduğundan daha hızlı çip almak maliyeti neredeyse hiç düşürmüyor.

Bağlam uzunluğu bu sorunu katlayarak büyütüyor. KV cache, sıra uzunluğu ve eşzamanlı istek sayısıyla doğrusal büyüyor; tutulan her context token'ı, o konuşmanın kalan ömrü boyunca her decode adımında taşınması gereken ek bayt anlamına geliyor. Bu yüzden uzun context pazarlaması aslında birikimli bir bant genişliği yükümlülüğü getiriyor ve fiyat listesi değişmese bile token başına maliyeti yükseltebiliyor.

Son yıllardaki en önemli mimari değişim, prefill ve decode aşamalarının farklı donanım havuzlarına ayrılması (disaggregation). Bu iki aşamanın kaynak profilleri zıt: biri ham hesaplama, diğeri bant genişliği ve cache lokalitesi istiyor. Ayrıştırma, decode isteklerini toplu işleyerek sabit bellek okuma maliyetini amortize etmeyi mümkün kılıyor, ancak istek yönlendirme ve cache transferi gibi ek sistem karmaşıklığı getiriyor.

Mühendisler için pratik sonuç: quantization, KV cache ve ağırlık boyutunu küçülterek doğrudan decode maliyetini düşüren bir araç; batch boyutu bant genişliği sınırlı iş yükünü hesaplama sınırlı hale getiren temel kaldıraç; agresif context tutma ise ücretsiz bir yetenek değil, kalıcı bir altyapı maliyeti olarak ele alınmalı. Tepe FLOP değerlerine dayalı tedarikçi karşılaştırmaları, decode ağırlıklı üretim trafiği için büyük ölçüde anlamsız — asıl belirleyici bellek bant genişliği, cache kapasitesi ve interconnect hızı.