model-optimization

LLM Quantization Rehberi: GPTQ, AWQ ve GGUF Karşılaştırması

Büyük dil modellerini 4-bit'e sıkıştırarak VRAM ihtiyacını düşüren quantization tekniklerini; GPTQ, AWQ, GGUF ve bitsandbytes yöntemlerini karşılaştırmalı olarak inceliyoruz.