ZML/LLMD Alfa: CUDA'dan Apple Metal'e Tek LLM Sunucusu

ZML/LLMD, Zig ve MLIR tabanlı ZML çerçevesi üzerine inşa edilmiş, tek bir kod tabanıyla NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI ve Apple Metal üzerinde çalışabilen bağımsız bir LLM çıkarım sunucusudur. Alfa sürümü; sürekli batching, sayfalanmış dikkat, tensör paralel parçalama, önek önbellekleme ve araç çağırma gibi modern sunum özelliklerini tüm platformlarda destekliyor ve Prometheus formatında metrik sunuyor.

Proje, HuggingFace, S3 ve GCS kaynaklarından modelleri kopyasız (zero-copy) biçimde doğrudan yükleyebilen bir VFS katmanı sunuyor; bu sayede modeli önceden indirmeye gerek kalmıyor. Gemma 4 serisinde devreye giren DFlash adlı yeni spekülatif kod çözme algoritması, desteklenen modellerde kullanıcı başına token hızını 10 kata kadar artırabiliyor ve platformdan bağımsız çalışıyor.

Docker imajları platforma özel optimize edilmiş, katman sıralaması ve özel sıkıştırma sayesinde indirme süreleri saniyeler mertebesine iniyor; CUDA imajında sürücü uyumluluk katmanı otomatik olarak devreye giriyor. Ayrıca AOT derleme modeli sayesinde çalışma zamanında gizli derleme olmadığından gecikmeler sabit ve öngörülebilir kalıyor; yayımlanan kıyaslamalar H100, MI300X, Intel B70 ve TPU v6e üzerinde rekabetçi verim ve gecikme rakamları gösteriyor.

Mühendisler açısından bu, tek bir sunucu imajıyla farklı donanım altyapılarında tutarlı davranış, hızlı soğuk başlangıç ve düşük operasyonel karmaşıklık anlamına geliyor; özellikle çoklu hızlandırıcı filolarını yöneten ekipler için önemli bir esneklik sağlıyor.