Qwen3.6-27B'de KV Önbellek Kuantizasyonunun KLD Etkisi
Bartowski'nin Qwen3.6-27B GGUF modelinde Q8, Q6 ve Q5 seviyelerinde KV önbellek kuantizasyonunun KL diverjansına etkisi ölçüldü; (q8_0,q8_0) neredeyse bedava kalite koruyor.
Bir kullanıcı, bartowski tarafından hazırlanan Qwen3.6-27B GGUF modelinin Q8, Q6 ve Q5 kuantizasyon seviyelerinde farklı KV önbellek (K ve V) kuantizasyon kombinasyonlarının çıktı kalitesine etkisini KL diverjansı (KLD) metriğiyle test etti. Test için llama-perplexity aracı, 50K bağlam penceresi, 32 chunk boyutu ve açık kaynak Python kod tabanlarından oluşturulan 230MB'lık bir kurpus kullanıldı; referans nokta KV kuantizasyonu olmayan Q8 modeli olarak alındı.
Sonuçlara göre Q8 beklendiği gibi Q6 ve Q5'ten daha iyi performans gösteriyor, ancak Q6 ile Q8 arasındaki fark (0.01 birim) oldukça küçükken Q6 ile Q5 arasındaki fark çok daha belirgin. En dikkat çekici bulgu, V (value) tensörü q4_0 seviyesine kuantize edildiğinde K tensörü ne olursa olsun kalitede sert bir düşüş yaşanması; bu durumda Q6 modelini tam boyutlu (q8_0,q8_0) KV ile kullanmak, Q8'i düşük KV kuantizasyonuyla kullanmaktan daha avantajlı çıkıyor. Q5 modeli ise V kuantizasyonuna karşı diğerlerinden daha toleranslı davranıyor ve (q4_0,q4_0) durumunda Q8 ile Q6 birbirine yakınsıyor.
Mühendisler için pratik çıkarım net: VRAM sınırlıysa mümkün olan en yüksek model kuantizasyonunu seçip KV önbelleğini (q8_0,q8_0) ile kuantize etmek, kalite kaybı neredeyse sıfırken bellek tasarrufu sağlıyor. Ancak yazar bunun tek bir kod odaklı test senaryosuna dayandığını, KLD farklarının pratikte ne kadar anlamlı olduğunun belirsiz kaldığını ve kişisel deneyimin de en az benchmark kadar değerli olduğunu vurguluyor.