MiMo v2.5 ile Hibrid SWA Verimliliği ve İyileştirmeleri

MiMo v2.5, Stochastic Weight Averaging (SWA) yöntemini dinamik budama ve kuantizasyon ile birleştirerek olağanüstü bir çıkarım verimliliği sunuyor. Bu mimari, model boyutunu %60 oranında azaltırken, orijinal doğruluğun %98'ini koruyor. Bu başarı, adaptif ağırlık ortalaması, gecikme farkındalığı ile budama ve hibrid kuantizasyon gibi üç temel yenilikle sağlanıyor.

MiMo v2.5'in optimizasyonu, mobil GPU'larda çıkarım gecikmesini 3 kat azaltma ve standart SWA'ya göre %45 daha düşük bellek kullanımı gibi avantajlar sunuyor. Hibrid SWA, gerçek zamanlı uygulamalar için uygun bir çözüm sunarken, tam hassasiyet gerektiren uygulamalar için önerilmiyor.