vLLM'nin sunum yığını C++20'ye taşındı: 66 MiB ikili dosya
vLLM'nin C++20'ye taşınmasıyla Python bağımlılığı olmadan 66 MiB boyutunda bir ikili dosya elde edildi. Yüksek eşzamanlılıkta benzer hızlar sunuyor.
vLLM'nin C++20 ile yeniden yazılmış sunum yığını, Python bağımlılığı olmadan 66 MiB boyutunda bir ikili dosya üretiyor. Bu port, vLLM'nin doğruluğunu kontrol etmek için kullanılıyor ve yüksek eşzamanlılıkta vLLM ile benzer hızlar sunuyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz