Laptop CPU ile Frontier Sınıfı LLM Çıktısı
cpubrrr, Apple M4 Max CPU'da frontier sınıfı LLM'leri çalıştırarak llama.cpp'yı geride bırakıyor.
Yeni bir araştırma runtime'ı olan cpubrrr, Apple M4 Max CPU üzerinde frontier sınıfı karışık uzman modellerini çalıştırarak llama.cpp'nın CPU yolunu geride bıraktı. Bu sistem, GPU kullanmadan, yalnızca C standart kütüphanesi ile bağlantılıdır ve dört farklı MoE modelini bir arada çalıştırabilir. Performansı, hem MXFP4 hem de Q4_K formatlarında llama.cpp'dan daha hızlıdır.