Intel Arc B70 32GB, Vulkan ile Qwen3.6-35B-A3B'de 130 t/s

Topluluk kaynaklı bir kıyaslama, Intel'in Arc Pro B70 (32GB, Battlemage) kartında llama.cpp'nin Vulkan arka ucuyla Qwen3.6-35B-A3B MoE modelinin yerel çalıştırma için pratik hızlara ulaştığını gösteriyor. VRAM'e tamamen sığan Q4_K_XL kuantizasyonuyla (21.3GB), kart modelin tam 262k bağlam penceresinde ~130 token/sn sürdürebiliyor; bu kurulumda f16 KV önbelleği, kuantize edilmiş q8_0 önbellekten daha hızlı çıktı.

VRAM'i (32GB) aşan daha büyük Q8_K_XL kuantizasyonunda (36.4GB), --n-cpu-moe ile MoE uzman katmanlarını sistem RAM'ine kaydıran hibrit kurulumda 12 katman aktarıldığında optimum nokta bulundu (69.4 t/s); daha fazla katman RAM'e taşındığında sessiz bir VRAM taşması gerçekleşip verim ~27 t/s'ye çöktü.

GGUF içine gömülü MTP (çoklu token tahmini) taslak başlığı, --spec-type draft-mtp ile etkinleştirildiğinde %83 kabul oranıyla 1.66 kat hızlanma sağladı (32.5→54.1 t/s) — bu MoE mimarisinde temel çizgiden daha yavaş kalan klasik ayrı-model spekülatif kod çözmeyi geride bıraktı. Testler ayrıca Vulkan'ın Battlemage üzerinde MoE iş yüklerinde SYCL'i açık farkla geride bıraktığını doğruluyor (~130'a karşı ~70 t/s); bunun nedeni SYCL'in uzman yönlendirme çekirdeğinin grafik yakalamayı devre dışı bırakıp katman başına senkronizasyon zorlamasına bağlanıyor.

Yerel LLM sunumu için Arc Pro kartlarını değerlendiren mühendisler için sonuçlar üç pratik çıkarım sunuyor: GPU sürücülerini güncel tutun (eski sürümler MTP + uzun bağlamda çöküyordu), kuantize KV önbelleğini bir hız değil bellek tasarrufu özelliği olarak görün ve 30k+ bağlam derinliğinde yapılandırmadan bağımsız olarak verimin kabaca yarıya düşmesini bekleyin.