» Etiket
energy-efficiency
3 yayınPersistent State Machine'ler LLM Dikkatini FPGA Donanımına Taşıyor
LLM attention işlemini deterministik durum makinelerine dönüştüren PSM çerçevesi, Vivado ile sentezlenip 0.0267 pJ/op enerji tahmini elde etti.
LLM Çıkarımının Enerji Maliyeti: LLaMA Üzerinde Ölçüm
Araştırmacılar, LLaMA modelinin farklı boyutlarını V100 ve A100 GPU'larda test ederek LLM çıkarımının enerji ve hesaplama maliyetini analiz etti.
Hızlı ve Enerji Verimli LLM için Analog Bellek İçi Hesaplama Mekanizması
Analog bellek içi hesaplama ile dikkat mekanizmasında enerji verimliliği artırılıyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com