Metin Difüzyonu mu Otoregresif Model mi: GPU Kullanımının Gerçek Hesabı

Kurumlar son iki yılda özel GPU kümelerine büyük yatırım yaptı, ancak bu donanımların çoğu geceleri neredeyse boş duruyor. Sorun kötü planlama değil: standart otoregresif modeller (Llama, GPT ailesi gibi) her token için ağırlıkları tekrar tekrar bellekten okumak zorunda kaldığından bellek darboğazına takılıyor; bu darboğaz yalnızca çok sayıda isteği aynı anda gruplayarak (batching) aşılabiliyor. Gece boyu işlenen milyonlarca doküman gibi iş yükleri kolayca gruplanabilirken, tek bir isteğin bir saniyenin altında yanıtlanması gereken durumlarda (kod tamamlama, gişede müşteri bekletme gibi) bu çözüm işe yaramıyor. Metin difüzyon modelleri, tüm bloğu paralel olarak birkaç adımda arındırarak tam da bu darboğazı hedefliyor; tek istekte bile GPU'yu doyurabiliyor ve bazı ölçümlerde 10 kata varan hız avantajı sunuyor. Ancak spekülatif kod çözme (speculative decoding, Medusa, EAGLE) gibi teknikler otoregresif modellerde de 2-4 kat hızlanma sağlıyor ve toplu (batch) iş yüklerinde iki mimari arasındaki fark neredeyse siliniyor. Gerçek soru mimari değil ekonomi: sahip olunan donanımın saatlik maliyeti, işlenen token sayısına ve kullanım oranına bölündüğünde ortaya çıkan gerçek token maliyeti. Difüzyonun ekonomik üstünlüğü yalnızca iki durumda belirginleşiyor: pahalı frontier/reasoning tokenlarının rakip olduğu ya da verinin dışarı çıkamadığı düzenlenmiş sektörlerde. Mühendisler için çıkarım net: mimari seçimi iş yükünün gecikme profiline göre yapılmalı, genel bir kazanan aramak yanıltıcı.