» Etiket
gpu
18 yayınNVIDIA DGX Spark Ortamını Anlamak: API'den GPU'ya 1. Hafta
NVIDIA DGX Spark ortamında çalışmaya başlamak için gerekli bilgiler ve komutlar. İlk hafta detaylarıyla öğrenin.
Yerel LLM'inizi CPU'ya düşerken yakalayın
Picchio, yerel LLM kurulumunuzu kontrol eden bir Python dosyasıdır. GPU'nun gerçekten çalışıp çalışmadığını gösterir.
KubeSwift: Kubernetes Üzerinde Cloud Hypervisor ile VM Orkestrasyonu
KubeSwift, sanal makineleri Kubernetes özel kaynaklarıyla tanımlayıp Cloud Hypervisor üzerinde çalıştırır; GPU geçişi, canlı taşıma ve OCI imaj desteği sağlar.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comllama.cpp'de DFlash: Qwen 3.6 27B'de 4.44 kat hız artışı
llama.cpp'ye eklenen DFlash, blok difüzyon tabanlı draft modeliyle Qwen 3.6 27B'de bağlam uzadıkça hızı artırıyor; 36K bağlamda 4.44 kat, kalite kaybı yok denecek kadar az.
Ürün Kataloğu İçin Çoklu Modelli Vektör Aramanın Perde Arkası
Milyonlarca ürün görselini ve açıklamasını vektöre dönüştüren bir arama platformu nasıl kuruldu? Qdrant, HNSW ayarları ve GPU verimliliğiyle ilgili çıkarımlar.
Chrome, Linux için WebGPU desteğini yayımlıyor
Chrome, Linux'ta WebGPU desteğini Intel Gen12+ GPU'lar ile başlatıyor. Daha fazla cihaz için genişletme planları mevcut.
AI Çıkarım Mühendisliği: Prefill ve Decode Ayrımının Anatomisi
LLM çıkarımının prefill ve decode aşamaları, GPU darboğazları ve batching, prefix caching gibi optimizasyon teknikleri mühendislik perspektifiyle ele alınıyor.
Rust 1.97, nvptx64-nvidia-cuda hedefinde taban seviyeyi yükseltiyor
Rust 1.97, nvptx64-nvidia-cuda derleme hedefi için minimum PTX ISA 7.0 ve SM 7.0 gereksinimini getiriyor; eski GPU ve CUDA sürücü desteği kaldırılıyor.