vLLM'nin sunum yığını C++20'ye taşındı: 66 MiB ikili dosya
vLLM'nin C++20'ye taşınmasıyla Python bağımlılığı olmadan 66 MiB boyutunda bir ikili dosya elde edildi. Yüksek eşzamanlılıkta benzer hızlar sunuyor.
vLLM'nin C++20 ile yeniden yazılmış sunum yığını, Python bağımlılığı olmadan 66 MiB boyutunda bir ikili dosya üretiyor. Bu port, vLLM'nin doğruluğunu kontrol etmek için kullanılıyor ve yüksek eşzamanlılıkta vLLM ile benzer hızlar sunuyor.