x86'nın yeni matris hızlandırıcısı ACE, Arm SME'ye rakip oluyor
Intel'in ACE hızlandırıcısı AMX'i dış çarpım mimarisine taşıyor; Arm SME2 ile karşılaştırmalı teknik analiz.
x86 Ekosistem Danışma Grubu, Intel'in AMX uzantısına ikinci bir hızlandırıcı türü ekleyen ACE için whitepaper ve spesifikasyon yayınladı. Sapphire Rapids'te tanıtılan orijinal TMUL hızlandırıcısının aksine ACE, yapılandırılabilir tile kayıtlarını sabit 64 bayt x 16 satır boyutuna indirgiyor, karmaşık sayı desteğini kaldırıyor ama FP8 formatını ekliyor. Daha önemlisi ACE, iç çarpım yerine dış çarpım tabanlı matris çarpımına geçiyor — bu, Arm'ın SME/SME2 uzantısının izlediği aynı yaklaşım.
Bu değişim tesadüfi değil: matris çarpımı dahil pek çok lineer cebir işlemi dış çarpımların toplamı olarak ifade edilebilir ve bu, yazılımın kayıt durumunu daha az önemli hale getiriyor. ACE ayrıca kuantize edilmiş model ağırlıklarını dönüştürmek için AVX-512'nin 512-bit vektör genişliğini kullanıyor; yeni VUNPACKB komutu ile VPERMB/VPERMI2B kombinasyonu, 2 ila 7 bit arasındaki herhangi bir veri tipini destekleyerek gelecekteki kuantizasyon şemalarına karşı esneklik sağlıyor.
Arm'ın SME2'si ise sabit genişlikte 512-bit ZT0 lookup-table kaydı kullanıyor; bu, LUTI2/LUTI4 komutlarıyla 2 veya 4 bit dönüşümleri için ara kayıt gerektirmeden çalışıyor ama ACE'in kapsadığı 2-7 bit aralığındaki tüm formatları veya çoklu lookup table gerektiren karmaşık codebook yaklaşımlarını desteklemiyor. Mühendisler için bu, x86 ve Arm'ın ML çıkarım hızlandırma stratejilerinin mimari düzeyde nasıl ayrıştığını gösteriyor.