WISP: Tüketici Donanımında 744B+ Parametreli MoE Modelleri İçin CUDA Motoru
WISP, 744B+ parametreli MoE modellerini tüketici donanımında akış halinde çalıştırmak için geliştirilmiş bir CUDA motorudur.
WISP, 744B+ parametreli MoE modellerini tüketici donanımında akış halinde çalıştırmak için geliştirilmiş bir CUDA motorudur. Modelin tüm parametrelerini RAM'e yüklemek yerine, yalnızca ihtiyaç duyulan uzmanları akış halinde yükleyerek bellek verimliliği sağlıyor. WISP, VRAM, RAM ve NVMe'yi bir bellek hiyerarşisi olarak kullanarak, MoE çıkarımını optimize ediyor.