Sürekli Durum Makinesi: LLM Dikkati için Bellek Duvarını Aşmak
Sürekli Durum Makinesi, LLM'lerde bellek duvarını aşarak enerji ve veri trafiğini azaltıyor.
Sürekli Durum Makinesi (PSM), LLM çıkarımındaki bellek duvarını aşmayı hedefliyor. Bu çalışma, PSM'nin matematiksel bir 6-tuple olarak tanımını yapıyor ve Deterministik Sonlu Otomata (DFA) ile eşdeğerliğini kanıtlıyor. Aktif Durum Makinesi Bellek Mimarisi (ASMA) ise PSM'yi uygulayan bir mimari olarak, sistem veri trafiğini %99.47 oranında azaltıyor ve enerji tüketimini %99.44 oranında düşürüyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz