» Etiket

speculative-decoding

4 yayın

24 Tem 20268.90
LeakyLMs: Zamanlama Analiziyle LLM Mimarisi ve Optimizasyonları Sızdırılıyor
LeakyLMs araştırması, token zamanlama analiziyle LLM API'lerinden mimari ve speculative decoding bilgilerinin nasıl sızdırılabileceğini ortaya koyuyor.
inference-optimization llm-security model architecture nvidia-gpu
22 Tem 20268.10
Bw24: RTX 50 Serisi Blackwell için Sıfırdan Rust+CUDA Çıkarım Motoru
Bw24, RTX 50 serisi Blackwell GPU'lar için sıfırdan yazılmış Rust+CUDA çıkarım motoru; spekülatif kod çözmede llama.cpp'ye karşı 2,3 kata varan hız sunuyor.
cuda gpu llm-inference nvidia
25 Tem 20268.00
Speculative Decoding: Yerel LLM'lerde Kullanılmayan Ücretsiz Hız Kazancı
Speculative decoding, yerel LLM çıktısını değiştirmeden 1.5-2.5 kat hızlandırıyor; 2026'da MTP ile modellere doğrudan entegre edildi.
gpu inference llama.cpp llm
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com
7 Tem 20267.50
llama.cpp'de DFlash: Qwen 3.6 27B'de 4.44 kat hız artışı
llama.cpp'ye eklenen DFlash, blok difüzyon tabanlı draft modeliyle Qwen 3.6 27B'de bağlam uzadıkça hızı artırıyor; 36K bağlamda 4.44 kat, kalite kaybı yok denecek kadar az.
gpu inference-optimization llama.cpp local-ai