» Etiket
gpu
6 yayınFFmpeg av1_vulkan Kodlayıcı: GPU'nuz AV1'i Destekliyor mu?
FFmpeg 8.x'teki av1_vulkan kodlayıcısını inceliyoruz: sürücü desteğini test etme, ilk encode denemesi, SVT-AV1 karşılaştırması ve container ortamında kullanım ipuçları.
ffmpegav1vulkangpuLLM Çıkarımının Enerji Maliyeti: LLaMA Üzerinde Ölçüm
Araştırmacılar, LLaMA modelinin farklı boyutlarını V100 ve A100 GPU'larda test ederek LLM çıkarımının enerji ve hesaplama maliyetini analiz etti.
llmllamagpuenergy-efficiencyllama.cpp'de DFlash: Qwen 3.6 27B'de 4.44 kat hız artışı
llama.cpp'ye eklenen DFlash, blok difüzyon tabanlı draft modeliyle Qwen 3.6 27B'de bağlam uzadıkça hızı artırıyor; 36K bağlamda 4.44 kat, kalite kaybı yok denecek kadar az.
llama.cppspeculative-decodinglocal-aiqwenÜrün Kataloğu İçin Çoklu Modelli Vektör Aramanın Perde Arkası
Milyonlarca ürün görselini ve açıklamasını vektöre dönüştüren bir arama platformu nasıl kuruldu? Qdrant, HNSW ayarları ve GPU verimliliğiyle ilgili çıkarımlar.
vector-searchembeddingsqdrantmachine-learningAI Çıkarım Mühendisliği: Prefill ve Decode Ayrımının Anatomisi
LLM çıkarımının prefill ve decode aşamaları, GPU darboğazları ve batching, prefix caching gibi optimizasyon teknikleri mühendislik perspektifiyle ele alınıyor.
aiinferencellmgpuRust 1.97, nvptx64-nvidia-cuda hedefinde taban seviyeyi yükseltiyor
Rust 1.97, nvptx64-nvidia-cuda derleme hedefi için minimum PTX ISA 7.0 ve SM 7.0 gereksinimini getiriyor; eski GPU ve CUDA sürücü desteği kaldırılıyor.
rustcudanvidiagpu