AMD MI300X ve Nvidia H100 ile 72B LLM için byte-aynı çıkarım

Yeni bir protokol, sınır ölçeğinde dil modeli çıkarımından byte-aynı çıktılar üretiyor ve her çıktıyı taşınabilir, çevrimdışı doğrulanabilir imzalı bir makbuzla bağlıyor. Bu yapı, 72 milyar yoğun parametre ve 47 milyar aktif parametre ile NVIDIA H100 üzerinde çalışan bir çıkarım alt yapısını içeriyor. AMD ve NVIDIA'nın çıktı hash'leri, her yapılandırmada byte-for-byte eşleşiyor ve bu, üretim maliyetinde bağımsız bir yapının sağlanmasına olanak tanıyor.