» Etiket
speculative-decoding
5 yayınLeakyLMs: Zamanlama Analiziyle LLM Mimarisi ve Optimizasyonları Sızdırılıyor
LeakyLMs araştırması, token zamanlama analiziyle LLM API'lerinden mimari ve speculative decoding bilgilerinin nasıl sızdırılabileceğini ortaya koyuyor.
Bw24: RTX 50 Serisi Blackwell için Sıfırdan Rust+CUDA Çıkarım Motoru
Bw24, RTX 50 serisi Blackwell GPU'lar için sıfırdan yazılmış Rust+CUDA çıkarım motoru; spekülatif kod çözmede llama.cpp'ye karşı 2,3 kata varan hız sunuyor.
Speculative Decoding: Yerel LLM'lerde Kullanılmayan Ücretsiz Hız Kazancı
Speculative decoding, yerel LLM çıktısını değiştirmeden 1.5-2.5 kat hızlandırıyor; 2026'da MTP ile modellere doğrudan entegre edildi.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comKaybı Olmayan Spekülatif Kodlama ile LLM Çıkarımını Hızlandırma
Büyük dil modellerinin çıkarımını hızlandıran kayıpsız spekülatif kodlama yöntemleri tanıtıldı.
llama.cpp'de DFlash: Qwen 3.6 27B'de 4.44 kat hız artışı
llama.cpp'ye eklenen DFlash, blok difüzyon tabanlı draft modeliyle Qwen 3.6 27B'de bağlam uzadıkça hızı artırıyor; 36K bağlamda 4.44 kat, kalite kaybı yok denecek kadar az.