» Etiket
gpu
18 yayınLLM Çıkarımında Gerçek Maliyet: Bellek Bant Genişliği
LLM sunumunda darboğaz FLOP değil, KV cache'in bellekten taşınma maliyeti. Prefill/decode ayrımı, batch boyutu ve context yönetimi neden asıl maliyet kalemi.
GoCL: Sıfır Ek Yük Getiren C++20 Vulkan Proxy Katmanı
GoCL, GPU yeteneklerine göre SPIR-V kodunu anında yeniden yazan, tembel yüklemeli arka uçlar kullanan ve sıfır çalışma zamanı ek yükü sunan açık kaynak C++20 Vulkan proxy katmanıdır.
FFmpeg av1_vulkan Kodlayıcı: GPU'nuz AV1'i Destekliyor mu?
FFmpeg 8.x'teki av1_vulkan kodlayıcısını inceliyoruz: sürücü desteğini test etme, ilk encode denemesi, SVT-AV1 karşılaştırması ve container ortamında kullanım ipuçları.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comLLM Çıkarımının Enerji Maliyeti: LLaMA Üzerinde Ölçüm
Araştırmacılar, LLaMA modelinin farklı boyutlarını V100 ve A100 GPU'larda test ederek LLM çıkarımının enerji ve hesaplama maliyetini analiz etti.
ZML/LLMD Alfa: CUDA'dan Apple Metal'e Tek LLM Sunucusu
ZML/LLMD alfa; LLaMa, Gemma, Qwen ve Mistral modellerini NVIDIA, AMD, TPU, Intel ve Apple Metal'de tek sunucuyla çalıştırıyor, DFlash ile hızlanma sağlıyor.
Dgxtop: NVIDIA DGX Sistemleri için Rust Tabanlı İzleme Aracı
Dgxtop, NVIDIA DGX sistemleri için gerçek zamanlı GPU ve sistem izleme aracı sunuyor.
Tek GPU Üzerinde Birden Fazla ComfyUI Örneği Çalıştırmak
ComfyUI'nin tek bir GPU üzerinde birden fazla örneğini çalıştırmanın yollarını keşfedin.
Birleşik Bellek: Mini PC'ler Dev GPU'ların Yapamadığını Nasıl Yapar
AMD Strix Halo gibi birleşik bellekli mini PC'ler, 70B parametreli modelleri RTX 5090'ın bile sığdıramadığı şekilde çalıştırabiliyor. Kapasite ve bant genişliği dengesini inceliyoruz.
AMD ROCm için İlk Açık Kaynak Agent Skill Koleksiyonu
NVIDIA'nın 428+ agent skill'ine karşı AMD'nin sıfır olduğu skills.sh ekosisteminde, ROCm GPU iş yükleri için 10 üretime hazır agent skill geliştirildi.
JAX Tabanlı LLM Eğitimi için HBM Darboğazlarını Azaltma
JAX ile HBM baskısını azaltarak LLM eğitiminde verimliliği artırma yöntemleri.