» Etiket

vllm

11 yayın

Temmuz 2026»

Bu ay

28 Tem 20269.01
vLLM'de Transformers Arka Ucu Artık Yerli Hıza Ulaştı
Transformers'ın vLLM modelleme arka ucu artık native implementasyonlarla aynı hızda; torch.fx ve ast ile otomatik kernel füzyonu sağlıyor.
huggingface llm-inference moe torch-fx
25 Tem 20268.51
DeepSeek V4 Flash'ı AWS Spot Instance'larda Kendi Sunucularımızda Barındırıyoruz
DeepSeek V4 Flash'ın AWS spot GPU'larda kendi kendine barındırılması: MXFP4 kuantizasyon, RTX PRO 6000, DSpark ve KV cache optimizasyonu detayları.
aws deepseek gpu llm-inference
30 Tem 20268.31
Netflix GenRec: Özellik Mühendisliği Yerine LLM Tabanlı Sıralayıcı
Netflix'in GenRec'i, özellik mühendisliği yerine LLM tabanlı sıralama kullanarak daha az veriyle üretim performansına ulaşıyor.
llm machine-learning netflix ranking
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com
23 Tem 20268.30
Netflix, LLM Sunumunu vLLM ve Triton ile Tamamen İçeride Kuruyor
Netflix'in vLLM, Triton ve OpenAI uyumlu API ile kendi LLM sunum altyapısını nasıl kurduğuna dair mühendislik kararları ve üretim dersleri.
inference llm mlops netflix
17 Tem 20268.10
Moonshot AI, Kimi K3'ü Duyurdu: 2,8 Trilyon Parametreli Açık MoE Model
Moonshot AI'nın 2,8 trilyon parametreli açık MoE modeli Kimi K3, 1M bağlam penceresi ve yeni dikkat mimarileriyle tanıtıldı.
kimi-k3 long-context mixture-of-experts moonshot-ai
13 Tem 20268.11
LLM Çıkarım Hızı: Darboğaz FLOPS Değil, Bellek Bant Genişliği
LLM çıkarımında gerçek darboğaz bellek bant genişliği. GPU, kuantizasyon ve batching seçimlerinin tok/s üzerindeki etkisini adım adım inceliyoruz.
gpu llm-inference machine-learning-infrastructure memory-bandwidth
20 Tem 20268.00
Netflix Kendi LLM Sunum Altyapısını Nasıl Kurdu
Netflix'in vLLM, Triton ve OpenAI-uyumlu API ile kurduğu kendi LLM sunum altyapısının mimari kararları ve üretimde çıkan sorunlar.
inference llm ml-infrastructure netflix
16 Tem 20268.00
DiffusionGemma: Google'ın Difüzyon Tabanlı LLM Rehberi
Google'ın DiffusionGemma geliştirici rehberi: çift yönlü dikkatli difüzyon tabanlı LLM, 4 kat hızlı üretim, vLLM desteği ve Sudoku ince ayar sonuçları.
ai diffusion-models gemma google
13 Tem 20267.40
Llamafile ve vLLM: Yerel Model Servisi için İki Yöntem
Llamafile ve vLLM ile yerel model sunumunu karşılaştırın; her birinin avantajları ve dezavantajları hakkında bilgi edinin.
docker llama localmodels machinelearning
6 Tem 20267.10
Trendyol'un ajanı LLM sunum ayarlarını 4 kat hızlandırdı
Trendyol Tech, autooptimizer adlı bir AI ajanıyla vLLM sunum ayarlarını insan müdahalesi olmadan optimize ederek Gemma 4 26B'de 4 kat performans artışı elde etti.
ai-agents gemma llm-inference performance-optimization