llama.cpp'de DFlash: Qwen 3.6 27B'de 4.44 kat hız artışı

llama.cpp'ye yeni birleştirilen DFlash, z-lab'ın geliştirdiği blok difüzyon tabanlı bir taslak (draft) modelle spekülatif çözümlemeyi hızlandırıyor. Klasik yöntemlerin aksine token'ları tek tek üretmek yerine tek geçişte 15 token'a kadar blok halinde tahmin ediyor. RTX PRO 6000 Blackwell (96GB VRAM) üzerinde Qwen 3.6 27B ile yapılan testlerde 36K bağlamda 273 tok/s'ye karşı 61 tok/s taban hız ölçüldü; bu da 4.44 kat hızlanma anlamına geliyor. İlginç şekilde hızlanma oranı bağlam büyüdükçe artıyor (512'de 1.44x, 4K'de 2.70x, 12K'de 3.40x, 36K'de 4.44x) — normalde bağlam büyüdükçe modeller yavaşlarken burada taban model performansı düşerken DFlash sabit kalıyor.

DFlash, aynı donanımda daha önce test edilen MTP (multi-token prediction) yöntemini her taslak uzunluğunda geride bıraktı. Kabul oranı benzer olsa da (yaklaşık tau 7.3'e karşı 6.7), MTP her taslak token için ayrı bir ileri geçiş gerektirirken difüzyon taslak modeli tüm bloğu tek geçişte dolduruyor. Bu, kod çözmenin bant genişliği sınırlı olduğu gerçeğinden kaynaklanıyor: GPU çoğunlukla bellek okumasını bekliyor, taslak model bu maliyeti birden fazla kabul edilen token'a yayarak avantaj sağlıyor. Hedef modelin gizli durumlarının her taslak katmanına enjekte edilmesi (KV injection) sayesinde taslak model büyük bloklarda bile doğruluğunu koruyor.

Kalite tarafında MATH-500 üzerinde 100 problemlik alt kümede taban model %87, DFlash %86 skor aldı; 7 konudan 6'sında sonuçlar birebir aynı çıktı. Mimari olarak greedy modda kayıpsız olması beklenirken tek bir farklılık gözlemlendi, bu da erken uygulama hatası olarak değerlendiriliyor. VRAM tarafında DFlash yaklaşık 5GB ek bellek kullanıyor (26GB'a karşı 21GB). Testler düşük eşzamanlılık (concurrency 1) senaryosunda yapıldı; yüksek yük altında üretim ortamlarında performansın nasıl değişeceği henüz test edilmedi.