ml-infrastructure

ZML/LLMD Alfa: CUDA'dan Apple Metal'e Tek LLM Sunucusu

ZML/LLMD alfa; LLaMa, Gemma, Qwen ve Mistral modellerini NVIDIA, AMD, TPU, Intel ve Apple Metal'de tek sunucuyla çalıştırıyor, DFlash ile hızlanma sağlıyor.