» Etiket

inference-optimization

2 yayın

6–12 Tem 2026»

12 Tem 20268.90
Android'de llama.cpp KV Durumuyla TTFT 9,9x Azaldı
EdgeSync-LLM, llama.cpp KV API'leriyle tekrar prompt işlemeden Android'de TTFT'yi 9,9x düşürdü; sahte 8,8x hızlanmayı da tespit edip eledi.
android edge-ai inference-optimization kv-cache
7 Tem 20267.50
llama.cpp'de DFlash: Qwen 3.6 27B'de 4.44 kat hız artışı
llama.cpp'ye eklenen DFlash, blok difüzyon tabanlı draft modeliyle Qwen 3.6 27B'de bağlam uzadıkça hızı artırıyor; 36K bağlamda 4.44 kat, kalite kaybı yok denecek kadar az.
gpu inference-optimization llama.cpp local-ai
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com