» Etiket
gpu
82 yayınGLM-4.7-Flash ve 2x RTX 3090: Deneyimim
GLM-4.7-Flash, 2x RTX 3090 ile test edildi. Kısa ve uzun bağlamlarda performans karşılaştırması yapıldı.
RTX 3050 Ti ile 11.9s Sesli Sohbet Sunucusu Kurulumu
RTX 3050 Ti ile sesli sohbet sunucusu kurulumu ve 11.9 saniyelik yanıt süresi hakkında bilgi edinin.
Linux Dizüstü Bilgisayarlar için Otomatik GPU Modu ve Yenileme Hızı Değiştiren Daemon
Linux dizüstü bilgisayarlarda batarya tasarrufu için otomatik GPU ve yenileme hızı ayarlayan daemon geliştirildi.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comBüyük Ölçekli TensorCircuit Kontraksiyonları: XLA GPU Otomatik Ayarını Devre Dışı Bırakma
Büyük TensorCircuit kontraksiyonları için XLA GPU otomatik ayarını devre dışı bırakmanın bellek tasarrufları ve çalışma süresi üzerindeki etkileri.
Mojo ile Metal Kernellerle Llm.c Portu: PyTorch MPS'ten 1.72x Daha Hızlı
Mojo ile llm.c'nin Metal çekirdeklerine taşınması, PyTorch MPS'ten 1.72x daha hızlı sonuçlar sunuyor.
CTA-Pipelining: Çoklu GPU Sistemleri için Gecikme Odaklı Ölçekleme Yöntemi
CTA-pipelining, çoklu GPU sistemlerinde gecikme odaklı ölçekleme sunarak performansı artırıyor.
JAX Tabanlı LLM Eğitimi için HBM Darboğazlarını Azaltma
JAX ile HBM baskısını azaltarak LLM eğitiminde verimliliği artırma yöntemleri.
NVIDIA DGX Spark Ortamını Anlamak: API'den GPU'ya 1. Hafta
NVIDIA DGX Spark ortamında çalışmaya başlamak için gerekli bilgiler ve komutlar. İlk hafta detaylarıyla öğrenin.
Yerel LLM'inizi CPU'ya düşerken yakalayın
Picchio, yerel LLM kurulumunuzu kontrol eden bir Python dosyasıdır. GPU'nun gerçekten çalışıp çalışmadığını gösterir.
KubeSwift: Kubernetes Üzerinde Cloud Hypervisor ile VM Orkestrasyonu
KubeSwift, sanal makineleri Kubernetes özel kaynaklarıyla tanımlayıp Cloud Hypervisor üzerinde çalıştırır; GPU geçişi, canlı taşıma ve OCI imaj desteği sağlar.