» Etiket
vllm
4 yayınMoonshot AI, Kimi K3'ü Duyurdu: 2,8 Trilyon Parametreli Açık MoE Model
Moonshot AI'nın 2,8 trilyon parametreli açık MoE modeli Kimi K3, 1M bağlam penceresi ve yeni dikkat mimarileriyle tanıtıldı.
LLM Çıkarım Hızı: Darboğaz FLOPS Değil, Bellek Bant Genişliği
LLM çıkarımında gerçek darboğaz bellek bant genişliği. GPU, kuantizasyon ve batching seçimlerinin tok/s üzerindeki etkisini adım adım inceliyoruz.
DiffusionGemma: Google'ın Difüzyon Tabanlı LLM Rehberi
Google'ın DiffusionGemma geliştirici rehberi: çift yönlü dikkatli difüzyon tabanlı LLM, 4 kat hızlı üretim, vLLM desteği ve Sudoku ince ayar sonuçları.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comLlamafile ve vLLM: Yerel Model Servisi için İki Yöntem
Llamafile ve vLLM ile yerel model sunumunu karşılaştırın; her birinin avantajları ve dezavantajları hakkında bilgi edinin.