Qwisp: MoE uzmanlarını flash'ten akıtan motor, Qwen3.6-35B-A3B'yi 8GB Mac'te çalıştırıyor
Qwisp, Qwen3.6-35B-A3B MoE modelini flash'ten uzman akışıyla 8GB Mac'lerde çalıştıran açık kaynaklı, bit-tam kayıpsız bir yerel çıkarım motoru.
Qwisp, Apple Silicon için geliştirilen ve yalnızca Qwen3.6-35B-A3B (MoE) modeline odaklanan açık kaynaklı bir yerel çıkarım motoru. Bu dar odak sayesinde, genel amaçlı motorların yapamadığı üç şeyi başarıyor: bit-tam kayıpsız çıktı garantisi, aktif MoE uzmanlarını flash'ten akıtarak 35B parametreli modeli 8GB RAM'li Mac'lerde çalıştırma ve MLX'in dışında el yazımı Metal komut tamponlarıyla çalışan bir decode çekirdeği. Geliştirici, tek bir M1 Max/64GB makinede ölçülen 85-91 tok/s hızları ve 8GB'lık katmanlar için RAM zorlamalı yaklaşık sonuçlar paylaşıyor. Proje şu anda topluluktan farklı çip/RAM/SSD kombinasyonlarında deterministik bir benchtest komutuyla sonuç toplayarak, kayıpsız akış katmanlarının gerçek dünya performansını haritalamaya çalışıyor. Mühendisler için önemi: MoE modellerini bellek kısıtlı cihazlarda çalıştırmanın pratik bir yöntemi ve donanım-özel optimizasyonun (raw Metal, spekülatif kod çözme) genel amaçlı çerçevelerin ötesine nasıl geçebileceğine dair somut bir örnek sunuyor.