Ölçekleme Yasaları: Kaplan'dan Chinchilla'ya, Aşırı Eğitime
LLM ölçekleme yasalarının Kaplan'dan Chinchilla'ya evrimi ve mühendislerin neden modelleri kasıtlı olarak aşırı eğittiği açıklanıyor.
Büyük dil modellerinde parametre sayısı mı veri miktarı mı önemli sorusu son beş yılda üç farklı yanıt aldı. Önce insan etiketlemesinin kıtlığı modelleri sınırlıyordu; kendi kendine denetim (bir sonraki kelimeyi tahmin etme) metnin kendisini etiket haline getirerek bu darboğazı ortadan kaldırdı ve tek gerçek kısıt hesaplama gücüne dönüştü.
Hesaplama maliyeti C≈6×N×D formülüyle özetlenir; N parametre sayısı, D ise token sayısıdır. 2020'de OpenAI'nin Kaplan modeli, bütçenin büyük kısmının modeli büyütmeye ayrılmasını önerdi ve GPT-3, PaLM gibi devasa ama görece az veriyle eğitilmiş modeller doğdu. 2022'de DeepMind'in Chinchilla çalışması bu metodolojiyi düzeltti: parametre ve veri eşit ağırlıkta olmalıydı, sonuç olarak daha küçük ama daha iyi beslenmiş Chinchilla, çok daha büyük GPT-3'ü geride bıraktı.
Ancak Chinchilla yalnızca eğitim maliyetini optimize ediyordu. Gerçek maliyet, modelin milyarlarca kez çağrılacağı çıkarım (inference) aşamasını da içerir. Bu yüzden LLaMA 3 8B gibi modeller bilinçli olarak Chinchilla çizgisinin çok üzerinde, aşırı miktarda token ile eğitiliyor: eğitimde tek seferlik daha yüksek maliyet ödeyip, her sorguda daha küçük ve ucuz bir model çalıştırmak için. Ajan tabanlı sistemler gibi tek bir isteğin onlarca model çağrısına dönüştüğü mimarilerde bu tercih artık zorunluluk haline geldi.