Ninfer: Tek GPU ile yüksek performanslı çıkarım
NInfer, RTX 5090 üzerinde yüksek performanslı çıkarım için C++/CUDA motoru sunuyor.
NInfer, tek bir NVIDIA GeForce RTX 5090 üzerinde çalışan C++/CUDA tabanlı bir çıkarım motorudur. Belirli Qwen3.6 kontrol noktalarını destekleyerek metin, görüntü ve video girdilerini işleyebilir. Performans ölçümleri, 7,680 ve 260,096 token'lık girdilerle yapıldı ve sonuçlar, mühendisler için optimize edilmiş bir çıkarım süreci sunmaktadır.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz