Sub-1-Bit LLM Sıkıştırması: Latent Faktörizasyon ile Yeni Bir Yaklaşım
LittleBit Projesi, dil modellerini sub-1-bit seviyesine sıkıştırarak verimliliği artırıyor.
LittleBit Projesi, büyük dil modellerini sub-1-bit seviyesine sıkıştırarak düşük-rank latent faktörlere ayrıştırıyor. Bu yöntem, model mimarisini korurken 0.1 bit/ağırlık seviyesine kadar aşırı sıkıştırma sağlıyor. LittleBit-2, başlangıç aşamasındaki latent geometri uyumsuzluğunu gidererek daha iyi bir performans sunuyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz