3.8B LLM'yi 0.384 CORE ile 998$'a Eğitmek – Hugo Vergnes
Hugo Vergnes, 3.8B parametreli bir LLM'yi 998$'a eğiterek 0.384 CORE puanı aldı. Proje, küçük LLM'ler için yapılandırma odaklı bir çerçeve ile gerçekleştirildi.
Bir kişi, birkaç bin dolarla anlamlı bir model eğitebilir. Hugo Vergnes, 3.8B parametreli bir model geliştirdi ve 43 saat içinde 65B token üzerinde 0.384 CORE puanı aldı. Proje, küçük ölçekli LLM'ler için yapılandırma odaklı bir çerçeve ile gerçekleştirildi ve iyi bir altyapının önemini vurguladı.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz