Hızlı ve Enerji Verimli LLM için Analog Bellek İçi Hesaplama Mekanizması
Analog bellek içi hesaplama ile dikkat mekanizmasında enerji verimliliği artırılıyor.
Transformers, modern yapay zekanın temelini oluştururken, yüksek enerji tüketimi sorununu da beraberinde getiriyor. Bu çalışmada, bellek içi analog hesaplama mimarisi önerilerek, dikkat mekanizmasının enerji verimliliği artırılıyor. Gain hücreleri kullanılarak, token projeksiyonları depolanıyor ve dikkat hesaplamaları gerçekleştiriliyor. Bu yaklaşım, mevcut GPU'lara kıyasla önemli ölçüde daha düşük enerji tüketimi ve gecikme sağlıyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz