metal

Apple Silicon macOS VM'lerde Llama.cpp ile 11-16x Hızlı LLM Çıkarımı

Cua'nın Metal yetenek katmanı, macOS VM'lerde llama.cpp LLM çıkarımını 11-16x hızlandırıyor; kaynak kod ve benchmark verileri açık.