» Etiket
gpu
12 yayınLLM Çıkarım Hızı: Darboğaz FLOPS Değil, Bellek Bant Genişliği
LLM çıkarımında gerçek darboğaz bellek bant genişliği. GPU, kuantizasyon ve batching seçimlerinin tok/s üzerindeki etkisini adım adım inceliyoruz.
Fleet: Çoklu Yonga GPU'larda Hiyerarşik Görev Tabanlı Abstraksiyon
Fleet, çoklu yonga GPU'larda bellek trafiğini azaltan yeni bir görev modelidir.
Qwen 3.6 27B Modeli ile 16GB VRAM'de 20 t/s Hız
Qwen 3.6 27B modeli ile 16GB VRAM'de yapılan yapılandırma ve hız testleri hakkında bilgi.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comModern Yüklerle 15 "E-Atık" GPU'nun Performans Testi
Eski NVIDIA Tesla GPU'larının modern yüklerle performansını değerlendiren bir çalışma. Düşük maliyetli GPU düğümleri için önemli veriler sunuyor.
RL ile Model Eğiten Bir Ajan Geliştirildi
Yapay zeka ajanı ile model eğitimi için geliştirilen yeni pipeline hakkında bilgi edinin.
Linux Dizüstü Bilgisayarlar için Otomatik GPU Modu ve Yenileme Hızı Değiştiren Daemon
Linux dizüstü bilgisayarlarda batarya tasarrufu için otomatik GPU ve yenileme hızı ayarlayan daemon geliştirildi.
Büyük Ölçekli TensorCircuit Kontraksiyonları: XLA GPU Otomatik Ayarını Devre Dışı Bırakma
Büyük TensorCircuit kontraksiyonları için XLA GPU otomatik ayarını devre dışı bırakmanın bellek tasarrufları ve çalışma süresi üzerindeki etkileri.
Mojo ile Metal Kernellerle Llm.c Portu: PyTorch MPS'ten 1.72x Daha Hızlı
Mojo ile llm.c'nin Metal çekirdeklerine taşınması, PyTorch MPS'ten 1.72x daha hızlı sonuçlar sunuyor.
CTA-Pipelining: Çoklu GPU Sistemleri için Gecikme Odaklı Ölçekleme Yöntemi
CTA-pipelining, çoklu GPU sistemlerinde gecikme odaklı ölçekleme sunarak performansı artırıyor.
GPU-Tile-SIM: LLM Donanım-Yazılım Ortak Tasarımı için GPU Simülasyonu
GPU-Tile-SIM, LLM iş yükleri için donanım-yazılım ortak tasarımında yüksek doğruluk sunan bir GPU simülasyon çerçevesidir.