» Etiket
moe
16 yayınQwisp: MoE uzmanlarını flash'ten akıtan motor, Qwen3.6-35B-A3B'yi 8GB Mac'te çalıştırıyor
Qwisp, Qwen3.6-35B-A3B MoE modelini flash'ten uzman akışıyla 8GB Mac'lerde çalıştıran açık kaynaklı, bit-tam kayıpsız bir yerel çıkarım motoru.
Intel Arc B70 32GB, Vulkan ile Qwen3.6-35B-A3B'de 130 t/s
Intel Arc Pro B70 32GB'de llama.cpp Vulkan ile Qwen3.6-35B-A3B testi: 4-bit'te 130 t/s (262k bağlam), 8-bit hibrit yüklemede 69 t/s.
RDNA3'te Tek Model İçin Sıfırdan Vulkan Motoru: llama.cpp'den 1.44x Hızlı
RDNA3 GPU'larda tek model için sıfırdan yazılmış Vulkan motoru, llama.cpp'den 1.44x hızlı ve token bazında birebir aynı çıktı üretiyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comantirez'in DS4 motoru: DeepSeek V4 Flash MacBook Pro'da yerelde zirve
antirez'in DS4 motoruyla çalışan DeepSeek V4 Flash, MacBook Pro'da zor kodlama görevlerini tek seferde çözüyor, diğer yerel modelleri geride bırakıyor.
MoE Yük Dengesizliğini Optimal Taşıma ile Çözme
MoE mimarisindeki yük dengesizliğini çözmek için TAOT yöntemi ile eğitim hızında %43 artış sağlandı.
SkewAdam: MoE Durum Belleğini %97 Azaltan Yeni Bir Optimizatör
SkewAdam, MoE eğitiminde durum belleğini %97 azaltarak 6.7B modeli 40GB GPU'ya sığdırıyor.