LLM Çıkarım Hızı: Darboğaz FLOPS Değil, Bellek Bant Genişliği
LLM çıkarımında gerçek darboğaz bellek bant genişliği. GPU, kuantizasyon ve batching seçimlerinin tok/s üzerindeki etkisini adım adım inceliyoruz.
Bir H100, ham FLOPS olarak T4'ten yalnızca 15 kat hızlı görünse de, 7B parametreli bir modelde gerçek hızlanma 150 kata ulaşıyor. Nedeni basit: otoregresif üretimde her token için modelin tüm ağırlıkları VRAM'den okunmak zorunda ve bu işlem bant genişliğiyle sınırlı — GPU'nun hesaplama birimleri çoğu zaman veri beklerken boşta kalıyor.
Analiz, prefill (hesaplama-bağımlı) ve decode (bant genişliği-bağımlı) aşamalarını ayırarak token/saniye hesaplarını GPU başına adım adım çıkarıyor. Kuantizasyon (INT8, INT4, INT3) parametre başına bayt sayısını azaltarak aynı donanımda 3-4,5 kat hızlanma sağlıyor, ancak ilk token süresini iyileştirmiyor. Sürekli batching ve tensor paralelliğindeki NCCL iletişim maliyeti de gerçek dünya verimini doğrudan etkiliyor.
Mühendisler için pratik sonuç: GPU seçimi ve model boyutlandırması yaparken TFLOPS yerine bellek bant genişliğine ve kuantizasyon seviyesine odaklanmak, dağıtım maliyetini ve gecikmeyi doğru tahmin etmenin anahtarı.