» Etiket

gpu

94 yayın

27 Tem 20269.21
397B Parametreli MoE Modeli Tek RTX PRO 6000 96GB GPU'da Çalıştı
Krasis çalışma zamanı, 397B parametreli MoE modelini tek RTX PRO 6000 96GB GPU'da 2.354 tok/s prefill hızıyla çalıştırdı.
gpu llm-inference local-llm moe
5 Ağu 20269.10
Nvidia B200 Tensör Çekirdeği Bit Bit Tersine Mühendislik Edildi
Nvidia B200 tensör çekirdeğinin tcgen05.mma talimatı, bit-bit doğrulanmış açık kaynak modelle tersine mühendislik edildi; sabit noktalı gerçek mekanizma ortaya çıktı.
blackwell gpu nvidia open-source
30 Tem 20268.81
metaljax: JAX'ı Apple Silicon GPU'larında Çalıştıran Metal Backend
metaljax, JAX kodunu Apple Silicon GPU'larında MLX üzerinden çalıştıran açık kaynak bir PJRT eklentisi; JAX test paketinin %98,4'ünü geçiyor.
apple-silicon gpu jax machine-learning
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com
20 Ağu 20268.61
FaCTz: Vektör Alanlarında Topolojiyi Koruyan GPU Sıkıştırıcı
FaCTz, vektör alanlarında kritik noktaları koruyan ilk GPU tabanlı sıkıştırıcı; 60 GB/s hızla CPU tabanlı cpSZ'den yaklaşık 640 kat hızlı.
compression data compression gpu hpc
20 Tem 20268.60
LoRA Speedrun: Fine-Tuning Teknikleri İçin Açık Hız Sıralaması
LoRA Speedrun, Qwen2.5-1.5B ve GSM8K üzerinde tek bir L40S GPU'da doğrulanmış, herkese açık bir LoRA fine-tuning hız sıralaması sunuyor.
benchmark fine-tuning gpu llm
25 Tem 20268.51
DeepSeek V4 Flash'ı AWS Spot Instance'larda Kendi Sunucularımızda Barındırıyoruz
DeepSeek V4 Flash'ın AWS spot GPU'larda kendi kendine barındırılması: MXFP4 kuantizasyon, RTX PRO 6000, DSpark ve KV cache optimizasyonu detayları.
aws deepseek gpu llm-inference
11 Tem 20268.50
LLM Çıkarımında Gerçek Maliyet: Bellek Bant Genişliği
LLM sunumunda darboğaz FLOP değil, KV cache'in bellekten taşınma maliyeti. Prefill/decode ayrımı, batch boyutu ve context yönetimi neden asıl maliyet kalemi.
gpu kv-cache llm-inference memory-bandwidth
28 Tem 20268.41
NVIDIA ModelExpress: P2P RDMA ile Model Başlatma Saniyelere İniyor
NVIDIA ModelExpress, P2P GPU-to-GPU RDMA transferleriyle LLM ağırlık yüklemesini hızlandırıyor; model başlatma süresi dakikalardan saniyelere iniyor.
gpu inference mlops model-serving
12 Tem 20268.40
GoCL: Sıfır Ek Yük Getiren C++20 Vulkan Proxy Katmanı
GoCL, GPU yeteneklerine göre SPIR-V kodunu anında yeniden yazan, tembel yüklemeli arka uçlar kullanan ve sıfır çalışma zamanı ek yükü sunan açık kaynak C++20 Vulkan proxy katmanıdır.
c gpu graphics-programming performance
9 Eyl 20268.30
CUDA Toolkit 13.4: Windows on Arm Desteği, Rubin Önizlemesi ve MPS V3
CUDA Toolkit 13.4, Windows on Arm desteği, Rubin GPU önizlemesi, paylaşılan GPU'lar için MPS V3 ve genişletilmiş CUDA Python API'leri getiriyor.
cuda developer-tools gpu nvidia