Tam kumaş VHDL LLM çıkarım motoru: Qwen3.5 sınıfı
Tam kumaş VHDL LLM çıkarım motoru, Qwen3.5 sınıfı transformer çıkarımını FPGA'da gerçekleştiriyor.
Tam kumaş VHDL LLM çıkarım motoru, 9B'yi tek bir kartta ve 27B'yi iki kartta çalıştırarak Qwen3.5 sınıfı transformer çıkarımını gerçekleştiriyor. FPGA yapısında tamamen yer alan bu sistem, INT4 akış matris çarpımı, Gated DeltaNet ve gated attention ile çalışıyor. Çıktılar, llama.cpp ile doğrulanıyor ve her katmanın aktivasyonları, bit-hassas C modeli ile karşılaştırılarak doğrulanıyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz