Nvidia B200 Tensör Çekirdeği Bit Bit Tersine Mühendislik Edildi
Nvidia B200 tensör çekirdeğinin tcgen05.mma talimatı, bit-bit doğrulanmış açık kaynak modelle tersine mühendislik edildi; sabit noktalı gerçek mekanizma ortaya çıktı.
Bir mühendislik ekibi, Nvidia Blackwell mimarisindeki tcgen05.mma tensör çekirdeği talimatının donanımla bit-bit eşleşen bir yazılım modelini oluşturdu. PTX dokümantasyonu talimatın varlığını ve descriptor formatını anlatsa da, operand yerleşimi, özel değer (NaN, sonsuzluk) işleme ve yuvarlama davranışı gibi kritik detayları açıklamıyor. Ekip bu boşluğu, gerçek B200 donanığında kontrollü MMA testleri çalıştırıp çıktı bitlerini aday modellerle karşılaştırarak kapattı.
Klasik IEEE kayan nokta toplama modeli (round-to-nearest-even) 2000 vakadan 144'ünde hatalıydı; daha gelişmiş iki aşamalı model bile 12 vakada başarısız oldu. Hatalar özellikle iptal (cancellation), sub-ULP katkılar ve denormal sınırlarda kümelenince, ekip donanığın terim terim yuvarlama yapmadığını, bunun yerine tek bir paylaşılan sabit noktalı (fixed-point) pencerede biriktirme yaptığını keşfetti. Operandlar önce TF32 kabına kırpılıyor, iç hesaplama tamsayı mantissa ve üsler üzerinden yürütülüyor ve tüm çarpımlar grup içindeki en büyük üssün altında 25 kesirli bit taşıyan ortak bir kuantumla hizalanıp kırpılıyor.
Sonuç, yoğun/seyrek, kayan nokta/tamsayı ve blok ölçekli formatlar dahil 46 donanım doğrulamalı veri yolunu kapsayan açık kaynaklı bir model. Derleyici ve çekirdek geliştiricileri için bu, tensör çekirdeği davranışını varsayımla değil ölçülmüş gerçeklikle modelleyerek yüksek kullanım oranına ulaşmayı mümkün kılıyor.