» Etiket
gpu
64 yayın397B Parametreli MoE Modeli Tek RTX PRO 6000 96GB GPU'da Çalıştı
Krasis çalışma zamanı, 397B parametreli MoE modelini tek RTX PRO 6000 96GB GPU'da 2.354 tok/s prefill hızıyla çalıştırdı.
metaljax: JAX'ı Apple Silicon GPU'larında Çalıştıran Metal Backend
metaljax, JAX kodunu Apple Silicon GPU'larında MLX üzerinden çalıştıran açık kaynak bir PJRT eklentisi; JAX test paketinin %98,4'ünü geçiyor.
LoRA Speedrun: Fine-Tuning Teknikleri İçin Açık Hız Sıralaması
LoRA Speedrun, Qwen2.5-1.5B ve GSM8K üzerinde tek bir L40S GPU'da doğrulanmış, herkese açık bir LoRA fine-tuning hız sıralaması sunuyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comDeepSeek V4 Flash'ı AWS Spot Instance'larda Kendi Sunucularımızda Barındırıyoruz
DeepSeek V4 Flash'ın AWS spot GPU'larda kendi kendine barındırılması: MXFP4 kuantizasyon, RTX PRO 6000, DSpark ve KV cache optimizasyonu detayları.
LLM Çıkarımında Gerçek Maliyet: Bellek Bant Genişliği
LLM sunumunda darboğaz FLOP değil, KV cache'in bellekten taşınma maliyeti. Prefill/decode ayrımı, batch boyutu ve context yönetimi neden asıl maliyet kalemi.
NVIDIA ModelExpress: P2P RDMA ile Model Başlatma Saniyelere İniyor
NVIDIA ModelExpress, P2P GPU-to-GPU RDMA transferleriyle LLM ağırlık yüklemesini hızlandırıyor; model başlatma süresi dakikalardan saniyelere iniyor.
GoCL: Sıfır Ek Yük Getiren C++20 Vulkan Proxy Katmanı
GoCL, GPU yeteneklerine göre SPIR-V kodunu anında yeniden yazan, tembel yüklemeli arka uçlar kullanan ve sıfır çalışma zamanı ek yükü sunan açık kaynak C++20 Vulkan proxy katmanıdır.
Dizüstülerde Sürekli Performans Açığı: Boost Clock Neden Yanıltır
Dizüstü bilgisayarlarda boost clock neden kısa sürer? Termal kısıtlama, PL1/PL2 güç limitleri ve TGP manipülasyonunun gerçek performansa etkisi.
AMD Instinct MI455X'i Duyurdu: CDNA 5 ve Helios Nvidia'ya Rakip Oluyor
AMD'nin CDNA 5 tabanlı Instinct MI455X GPU'su ve 72 GPU'luk Helios rack-scale mimarisi, Nvidia'nın Rubin platformuna karşı güçlü bir alternatif sunuyor.
FFmpeg av1_vulkan Kodlayıcı: GPU'nuz AV1'i Destekliyor mu?
FFmpeg 8.x'teki av1_vulkan kodlayıcısını inceliyoruz: sürücü desteğini test etme, ilk encode denemesi, SVT-AV1 karşılaştırması ve container ortamında kullanım ipuçları.