Sıfırdan 30M parametreli bir LLM eğittim: Ölçeklenme "tabanı" bir mirajdı
30M parametreli bir dil modeli eğitildi. Proje, transformerlara derinlemesine anlayış kazandırmayı hedefliyor.
Bir öğrenme projesi olarak sıfırdan oluşturulan küçük bir dil modeli, yaklaşık 30M parametreli bir decoder-only transformer olarak TinyStories veri seti üzerinde eğitildi. Proje, transformerlara derinlemesine anlayış geliştirmek için temel bileşenlerin elle uygulanmasını hedefliyor ve kontrol edilen deneyler ile sonuçların teknik bir yazıya dökülmesi amaçlanıyor.