DiffusionGemma: Google'ın Difüzyon Tabanlı LLM Rehberi
Google'ın DiffusionGemma geliştirici rehberi: çift yönlü dikkatli difüzyon tabanlı LLM, 4 kat hızlı üretim, vLLM desteği ve Sudoku ince ayar sonuçları.
Google, Gemma 4 mimarisi üzerine inşa edilen deneysel difüzyon tabanlı dil modeli DiffusionGemma için bir geliştirici rehberi yayımladı. Model, token'ları tek tek üretmek yerine 256 token'lık bir tuvali çift yönlü dikkat mekanizmasıyla paralel olarak arındırıyor; böylece darboğaz bellek bant genişliğinden hesaplama gücüne kayıyor. Bu yaklaşım, RTX 5090'da saniyede 700'ün, tek bir H100'de ise saniyede 1000'in üzerinde token üretimiyle 4 kata varan hız artışı sağlıyor.
Model, 26 milyar parametreli bir Mixture-of-Experts (MoE) yapısında olup çıkarım sırasında yalnızca 3.8 milyar parametreyi etkinleştiriyor; bu da 18 GB VRAM sınırları içinde kuantize dağıtıma imkân tanıyor. 256 token'ı aşan diziler için blok-otoregresif difüzyon yaklaşımı, her arındırılmış bloğu KV önbelleğine işleyip yeni bir tuval başlatarak difüzyonun paralellik avantajını otoregresif modellerin kararlılığıyla birleştiriyor.
Google, Hackable Diffusion adlı JAX tabanlı araç setiyle Sudoku çözme üzerinde ince ayar örneği sundu; bu, soldan sağa üretim yapan otoregresif modellerin genellikle başarısız olduğu bir görev. Temel model bulmacaları hiç çözemezken (%0 başarı), gözetimli ince ayar sonrası başarı oranı %80'e çıktı ve model daha az arındırma adımıyla erken durabildi.
Sunum tarafında model doğrudan vLLM'e entegre edildi; Apache 2.0 lisansıyla Hugging Face üzerinden yayımlanan model Transformers, SGLang, MLX, Unsloth, NVIDIA NeMo ve NIM/Model Garden dağıtım yollarını da destekliyor.