CTA-Pipelining: Çoklu GPU Sistemleri için Gecikme Odaklı Ölçekleme Yöntemi
CTA-pipelining, çoklu GPU sistemlerinde gecikme odaklı ölçekleme sunarak performansı artırıyor.
Çoklu GPU sistemleri, paylaşımlı bellek yapıları olarak evrim geçirirken, mevcut yazılımlar bu sistemleri yüksek hızlı ağlar olarak ele almaya devam ediyor. Ancak, büyük dil modellerinin gecikme kısıtlamaları altında hizmet verme talebi, GPU iş yükü optimizasyonunu verimlilikten gecikmeye yönlendirdi. Bu bağlamda, CTA-pipelining adlı yeni bir yürütme paradigması tanıtılıyor. Bu yöntem, paylaşımlı bellekli çoklu GPU sistemlerinde bağımlılıkları kullanarak, bağımlı çekirdeklerin eşzamanlı yürütülmesini sağlıyor. Deneyler, CTA-pipelining'in gecikmeyi %31.8 oranında azalttığını gösteriyor.