» Etiket

inference

44 yayın

31 Tem 20268.00
OpenAI Ajan Döngüsünü Nasıl Hızlandırıyor: Harness, API, Çıkarım
OpenAI'nin harness, API ve çıkarım katmanlarındaki ajan döngüsü optimizasyon tekniklerini ve maliyet-verimlilik yaklaşımını inceliyoruz.
agents ai inference llm
30 Tem 20268.00
Ölçekleme Yasaları: Kaplan'dan Chinchilla'ya, Aşırı Eğitime
LLM ölçekleme yasalarının Kaplan'dan Chinchilla'ya evrimi ve mühendislerin neden modelleri kasıtlı olarak aşırı eğittiği açıklanıyor.
chinchilla deep-learning inference llm
25 Tem 20268.00
Speculative Decoding: Yerel LLM'lerde Kullanılmayan Ücretsiz Hız Kazancı
Speculative decoding, yerel LLM çıktısını değiştirmeden 1.5-2.5 kat hızlandırıyor; 2026'da MTP ile modellere doğrudan entegre edildi.
gpu inference llama.cpp llm
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com
21 Tem 20268.01
LLMrPro: Kendi Donanımınızla Çalışan Açık Kaynak LLM Dengeleyici
LLMrPro, kendi makinelerinizi ve bulut sağlayıcılarını tek OpenAI uyumlu API altında birleştiren açık kaynak, kendi kendine barındırılan LLM dengeleyicisidir.
cloud-fallback inference llm load-balancing
20 Tem 20268.00
Netflix Kendi LLM Sunum Altyapısını Nasıl Kurdu
Netflix'in vLLM, Triton ve OpenAI-uyumlu API ile kurduğu kendi LLM sunum altyapısının mimari kararları ve üretimde çıkan sorunlar.
inference llm ml-infrastructure netflix
12 Tem 20268.00
Bun'ın Rust Geçişi AI Altyapısında C#'ın Yükselişini Gösteriyor
Bun'ın Zig'den Rust'a geçişi, üretim AI altyapısında derlenmiş dillerin değerini ortaya koyuyor. TensorSharp benchmark sonuçları C#'ın bu katmandaki potansiyelini gösteriyor.
ai csharp dotnet inference
8 Tem 20268.00
ZML/LLMD Alfa: CUDA'dan Apple Metal'e Tek LLM Sunucusu
ZML/LLMD alfa; LLaMa, Gemma, Qwen ve Mistral modellerini NVIDIA, AMD, TPU, Intel ve Apple Metal'de tek sunucuyla çalıştırıyor, DFlash ile hızlanma sağlıyor.
cross-platform gpu inference llm
18 Eyl 20267.90
24 GiB Dizüstü Bilgisayarda 200K-Token LLM Sunumu
JustFit, 24 GiB dizüstü bilgisayarda 200K-token LLM sunumunu mümkün kılıyor.
inference llm localcomputing machinelearning
26 Ağu 20267.90
NVIDIA Dynamo ile LLM Çıktı Kapasitesini Hızla Yenileyin
NVIDIA Dynamo'daki gölge motoru kurtarma, LLM süreçlerinin hızlı bir şekilde yeniden başlatılmasını sağlıyor.
cloud gpu inference llm
25 Ağu 20267.90
AMD MI300X ve Nvidia H100 ile 72B LLM için byte-aynı çıkarım
Yeni bir protokol, AMD MI300X ve Nvidia H100 ile 72B LLM için byte-aynı çıkarımlar üretiyor.
ai amd inference llm