Yeni çalışma: Dil modelleri parametre başına 3.6 bit ezberliyor
Araştırmacılar, dil modellerinin ezberleme kapasitesini ölçen yeni bir yöntem geliştirdi ve GPT tarzı modellerin parametre başına yaklaşık 3.6 bit bilgi depoladığını buldu.
Bir grup araştırmacı, dil modellerinin bir veri noktası hakkında ne kadar bilgi tuttuğunu ölçmeye yarayan yeni bir yöntem sundu. Çalışma, ezberlemeyi iki bileşene ayırıyor: modelin belirli bir veri kümesine özgü tuttuğu 'istenmeyen ezberleme' ve gerçek veri üretim sürecine dair öğrendiği genelleme. Genelleme bileşenini tamamen ortadan kaldırarak toplam ezberleme miktarı hesaplanabiliyor ve bu da model kapasitesinin doğrudan bir tahminini veriyor.
Araştırmacılar 500 bin ile 1.5 milyar parametre arasında değişen yüzlerce transformer dil modeli eğiterek GPT tarzı mimarilerin parametre başına yaklaşık 3.6 bit bilgi depoladığını tespit etti. Veri kümesi büyüklüğü arttıkça modellerin önce kapasiteleri dolana kadar ezberlediği, ardından 'grokking' denilen aşamaya geçerek genellemeye başladığı ve istenmeyen ezberlemenin azaldığı gözlemlendi.
Bu bulgular, model kapasitesi ile veri büyüklüğü arasındaki ilişkiyi üyelik çıkarımı (membership inference) saldırılarıyla ilişkilendiren yeni ölçeklendirme yasalarının ortaya konmasını sağladı. Mühendisler için bu çalışma, model boyutlandırma, veri gizliliği ve aşırı öğrenme riskleri konusunda somut, ölçülebilir bir çerçeve sunuyor.