» Etiket
llama
6 yayınFine-tuning Yok: Gerçekler Doğrudan Llama-3.1-8B Ağırlıklarına Elle Kodlandı
Llama-3.1-8B'ye fine-tuning, LoRA veya RAG olmadan, elle kodlanmış nöron devreleriyle gerçek ekleyen mekanistik yorumlanabilirlik projesi ve canlı görselleştirici.
LLM Çıkarımının Enerji Maliyeti: LLaMA Üzerinde Ölçüm
Araştırmacılar, LLaMA modelinin farklı boyutlarını V100 ve A100 GPU'larda test ederek LLM çıkarımının enerji ve hesaplama maliyetini analiz etti.
Llama.cpp PR ile Q2_0, x86 CPU'larda 3.0–3.6 kat hızlandı
Llama.cpp'daki yeni PR, Q2_0'ı x86 CPU'larda 3.0–3.6 kat hızlandırıyor. Detaylar burada.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comLlamafile ve vLLM: Yerel Model Servisi için İki Yöntem
Llamafile ve vLLM ile yerel model sunumunu karşılaştırın; her birinin avantajları ve dezavantajları hakkında bilgi edinin.
Debian 12/13'te llama.cpp Derleme ve ARM64 İçin Çapraz Derleme
Debian 12/13'te llama.cpp'yi yerel ve ARM64 için çapraz derleme hakkında bilgi edinin.
llama.cpp CPU Yükleme Optimizasyonları
llama.cpp için CPU yükleme optimizasyonları: CUDA grafiklerini devre dışı bırakın ve FFN alt katmanlarını CPU'ya yönlendirin.