» Etiket
gpu
21 yayın397B Parametreli MoE Modeli Tek RTX PRO 6000 96GB GPU'da Çalıştı
Krasis çalışma zamanı, 397B parametreli MoE modelini tek RTX PRO 6000 96GB GPU'da 2.354 tok/s prefill hızıyla çalıştırdı.
metaljax: JAX'ı Apple Silicon GPU'larında Çalıştıran Metal Backend
metaljax, JAX kodunu Apple Silicon GPU'larında MLX üzerinden çalıştıran açık kaynak bir PJRT eklentisi; JAX test paketinin %98,4'ünü geçiyor.
NVIDIA ModelExpress: P2P RDMA ile Model Başlatma Saniyelere İniyor
NVIDIA ModelExpress, P2P GPU-to-GPU RDMA transferleriyle LLM ağırlık yüklemesini hızlandırıyor; model başlatma süresi dakikalardan saniyelere iniyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comMetin Difüzyonu mu Otoregresif Model mi: GPU Kullanımının Gerçek Hesabı
Difüzyon tabanlı dil modelleri ile otoregresif modellerin GPU kullanım ekonomisi karşılaştırması: gecikme, batching ve gerçek token maliyeti.
Meta, GPU Duraksamalarını Azaltmak için BLOB Depolamayı Yeniden Yapılandırdı
Meta, GPU duraksamalarını ortadan kaldırmak için BLOB depolama mimarisini birleşik metadata ve doğrudan istemci akışıyla yeniden tasarladı.
NVIDIA Exemplar Cloud: AI Kümelerinde %8-12 Performans Açığı Nasıl Kapanır?
NVIDIA'nın H100 ve GB200 NVL72 kümelerinde %8-12'lik AI eğitim performans açıklarını perf, Nsight Systems, SMMU ve NUMA ayarlarıyla nasıl çözdüğü.
SkyPilot ve Hugging Face'ten sıfır egress'li çoklu bulut AI depolama
SkyPilot ve Hugging Face, modelleri Hub'da tutup GPU'ları herhangi bir bulutta egress ücreti olmadan çalıştırmayı sağlayan yeni bir depolama entegrasyonu sundu.
CUDA'dan MLX'e: K-Search ile Apple Silicon'a Geçiş
K-Search, CUDA optimizasyonunu Apple Silicon için MLX'e dönüştürüyor. GPU çekirdekleri için önemli bir gelişme.
XY: Hızlı ve Özelleştirilebilir GPU Destekli Grafik Kütüphanesi
XY, GPU hızlandırmalı hızlı ve etkileşimli bir Python grafik kütüphanesidir.
NVIDIA TensorRT Motoru Oluşturma Sürecini İzleme ve İptal Etme
NVIDIA TensorRT motoru oluşturma sürecini izlemek ve iptal etmek için IProgressMonitor API'sini kullanın.