Vektör İşlemcilerde İnferans için Çatı Hattı Sparse Tensör Kontraksiyonları
Ventaglio, vektör işlemcilerde seyrek tensör kontraksiyonlarını hızlandırarak performansı artırıyor.
Son zamanlarda, ince-grain ağırlık budama ve aktivasyon seyrekleştirme, Transformer modellerinin inferans maliyetlerini azaltmak için etkili yöntemler olarak öne çıkmıştır. Ancak mevcut RVV mimarileri, bu tür işlemler için yerel destek sunmamaktadır. Ventaglio, RVV ISA uzantıları ile birlikte çalışan bir çalışma zamanı yapılandırılabilir seyrek yürütme birimi sunarak, bu işlemleri çatı hattına yaklaştırmaktadır. Ventaglio, 12nm FinFET ile entegre bir açık kaynak vektör işleme kümesine entegre edilmiştir ve optimize edilmiş RVV temel çizgilerine göre %6.9-7.4 kat hız artışı sağlamaktadır.