RAI: Safir Rust ile CPU Tabanlı LLM Çıktı Motoru
RAI, Rust ile yazılmış CPU tabanlı bir LLM çıktı motorudur. GPU gerektirmeden yüksek performans sunar.
RAI, Rust ile yazılmış bir CPU tabanlı LLM çıktı motorudur. 4-bit kuantize edilmiş dil modellerini destekler ve GPU, CUDA veya Python gerektirmez. Herhangi bir x86-64 makinesinde çalışabilir ve yüksek performans sunar. RAI, hafif yapısı ve el yazısı AVX2 çekirdekleri ile dikkat çekiyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz