» Etiket
vllm
14 yayınvLLM'nin sunum yığını C++20'ye taşındı: 66 MiB ikili dosya
vLLM'nin C++20'ye taşınmasıyla Python bağımlılığı olmadan 66 MiB boyutunda bir ikili dosya elde edildi. Yüksek eşzamanlılıkta benzer hızlar sunuyor.
Llamafile ve vLLM: Yerel Model Servisi için İki Yöntem
Llamafile ve vLLM ile yerel model sunumunu karşılaştırın; her birinin avantajları ve dezavantajları hakkında bilgi edinin.
Trendyol'un ajanı LLM sunum ayarlarını 4 kat hızlandırdı
Trendyol Tech, autooptimizer adlı bir AI ajanıyla vLLM sunum ayarlarını insan müdahalesi olmadan optimize ederek Gemma 4 26B'de 4 kat performans artışı elde etti.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comDeepseek V4 Flash ile RTX 6000'da 160 t/s Hızı
RTX 6000 üzerinde Deepseek V4 Flash ile elde edilen 160 t/s hızının detayları ve yapılandırma bilgileri.