» Etiket
gpu
2 yayınLLM Çıkarım Hızı: Darboğaz FLOPS Değil, Bellek Bant Genişliği
LLM çıkarımında gerçek darboğaz bellek bant genişliği. GPU, kuantizasyon ve batching seçimlerinin tok/s üzerindeki etkisini adım adım inceliyoruz.
Modern Yüklerle 15 "E-Atık" GPU'nun Performans Testi
Eski NVIDIA Tesla GPU'larının modern yüklerle performansını değerlendiren bir çalışma. Düşük maliyetli GPU düğümleri için önemli veriler sunuyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com