» Etiket
llama.cpp
4 yayın120B parametreli LLM, expert akışıyla Android telefonda çalışıyor
Açık kaynaklı bir Android uygulaması, MoE uzmanlarını flash depodan akıtarak 120B parametreli LLM'i telefon CPU'sunda çalıştırıyor, 30B modeller kullanılabilir hızda.
Yerel Model Showdown 9. Tur: Qwen 3.6, Nemotron ve Qwythos Kod Testinde
RTX 5090'da llama.cpp ile beş LLM'in gerçek kodlama görevinde karşılaştırıldığı Local Model Showdown 9. tur analizi ve bulguları.
NilaMind: Cihaz Üzerinde Çalışan 1.5B Parametreli Ruh Sağlığı LLM'i
NilaMind, Qwen2.5-1.5B modelini llama.cpp ile Android'de tamamen çevrimdışı çalıştırıyor; kriz güvenliği model dışı deterministik bir katmanda.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comYerel Modeller için GBNF Gramer Desteği Eklendi
Yerel modellerde GBNF gramer desteği eklendi. Çıktıları kesin biçimde kontrol etme imkanı sunuyor.