ExLlamaV3 v1.0.0 - Büyük Performans İyileştirmeleri
ExLlamaV3 v1.0.0 sürümü, önemli performans iyileştirmeleri ve yeni özellikler sunuyor.
ExLlamaV3, bir yıl süren geliştirme sürecinin ardından ilk üretim sürümünü aldı. Turboderp ve Fable, önemli iyileştirmeler sunmak için yoğun bir şekilde çalıştılar. Bu sürümde, flash-attention-2 ve xformers bağımlılıkları kaldırıldı, tensor-parallel desteği çoğu modele genişletildi ve yeni bir dikkat çekirdek yapısı eklendi. Bu değişiklikler, performansı artırarak daha hızlı bir çıkarım süreci sağlıyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz