» Etiket

llm-inference

15 yayın

Temmuz 2026»

Bu ay

13 Tem 20269.30
Gemma-4 (2B/4B/12B) AWS Inferentia2'ye Nasıl Taşındı
Gemma-4'ün AWS Inferentia2'ye taşınması: karışık dikkat kafaları, KV paylaşımı ve NxD sharding sorunlarının çözümü.
aws-inferentia2 gemma llm-inference model-porting
27 Tem 20269.21
397B Parametreli MoE Modeli Tek RTX PRO 6000 96GB GPU'da Çalıştı
Krasis çalışma zamanı, 397B parametreli MoE modelini tek RTX PRO 6000 96GB GPU'da 2.354 tok/s prefill hızıyla çalıştırdı.
gpu llm-inference local-llm moe
28 Tem 20269.01
vLLM'de Transformers Arka Ucu Artık Yerli Hıza Ulaştı
Transformers'ın vLLM modelleme arka ucu artık native implementasyonlarla aynı hızda; torch.fx ve ast ile otomatik kernel füzyonu sağlıyor.
huggingface llm-inference moe torch-fx
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com
30 Tem 20268.60
56M parametreli LLM, ESP-NOW ile 3 ESP32-S3 kartına dağıtıldı
56M parametreli LLM, ESP-NOW üzerinden üç ESP32-S3 kartına dağıtılarak çalıştırıldı; Split-PLE ve KV cache ile tutarlılık artırıldı.
edge-ai embedded-ai esp32 llm-inference
28 Tem 20268.50
DeepSeek V4 Flash, AMD Ryzen AI MAX+ 395'te 32 tok/s'a ulaştı
AMD Ryzen AI MAX+ 395'te 284B parametreli DeepSeek V4 Flash, 128GB birleşik bellekle 32 tok/s decode ve ~250 tok/s seyrek prefill hızına ulaştı.
amd deepseek llm-inference local-inference
25 Tem 20268.51
DeepSeek V4 Flash'ı AWS Spot Instance'larda Kendi Sunucularımızda Barındırıyoruz
DeepSeek V4 Flash'ın AWS spot GPU'larda kendi kendine barındırılması: MXFP4 kuantizasyon, RTX PRO 6000, DSpark ve KV cache optimizasyonu detayları.
aws deepseek gpu llm-inference
11 Tem 20268.50
LLM Çıkarımında Gerçek Maliyet: Bellek Bant Genişliği
LLM sunumunda darboğaz FLOP değil, KV cache'in bellekten taşınma maliyeti. Prefill/decode ayrımı, batch boyutu ve context yönetimi neden asıl maliyet kalemi.
gpu kv-cache llm-inference memory-bandwidth
20 Tem 20268.30
Headroom: Yerel AI için GPU bant genişliği tavanını tarayıcıda ölç
Headroom, WebGPU ile tarayıcıda GPU bellek bant genişliği tavanını ölçüp yerel AI tok/s performansını ve sürücü hatalarını gösteren açık araç.
browser-tools gpu-benchmarking llm-inference local-ai
11 Tem 20268.30
GLM 5.2 Yerel Kurulum Rehberi: Kuantizasyon ve Donanım Seçimi
753B parametreli MoE modeli GLM 5.2'yi yerelde çalıştırmak için Unsloth dinamik kuantizasyonları, RAM gereksinimleri ve donanım seçenekleri karşılaştırıldı.
glm-5.2 gpu-hardware llm-inference local-llm
28 Tem 20268.10
Metin Difüzyonu mu Otoregresif Model mi: GPU Kullanımının Gerçek Hesabı
Difüzyon tabanlı dil modelleri ile otoregresif modellerin GPU kullanım ekonomisi karşılaştırması: gecikme, batching ve gerçek token maliyeti.
ai diffusion-models gpu inference-economics