Yeni çalışma: Dil modelleri parametre başına 3.6 bit ezberliyor
Araştırmacılar, dil modellerinin ezberleme kapasitesini ölçen yeni bir yöntem geliştirdi ve GPT tarzı modellerin parametre başına yaklaşık 3.6 bit bilgi depoladığını buldu.
llmmemorizationmachine-learningscaling-laws