» Etiket
llama
5 yayınFine-tuning Yok: Gerçekler Doğrudan Llama-3.1-8B Ağırlıklarına Elle Kodlandı
Llama-3.1-8B'ye fine-tuning, LoRA veya RAG olmadan, elle kodlanmış nöron devreleriyle gerçek ekleyen mekanistik yorumlanabilirlik projesi ve canlı görselleştirici.
LLM Çıkarımının Enerji Maliyeti: LLaMA Üzerinde Ölçüm
Araştırmacılar, LLaMA modelinin farklı boyutlarını V100 ve A100 GPU'larda test ederek LLM çıkarımının enerji ve hesaplama maliyetini analiz etti.
Llamafile ve vLLM: Yerel Model Servisi için İki Yöntem
Llamafile ve vLLM ile yerel model sunumunu karşılaştırın; her birinin avantajları ve dezavantajları hakkında bilgi edinin.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comDebian 12/13'te llama.cpp Derleme ve ARM64 İçin Çapraz Derleme
Debian 12/13'te llama.cpp'yi yerel ve ARM64 için çapraz derleme hakkında bilgi edinin.
llama.cpp CPU Yükleme Optimizasyonları
llama.cpp için CPU yükleme optimizasyonları: CUDA grafiklerini devre dışı bırakın ve FFN alt katmanlarını CPU'ya yönlendirin.