Veri Filtreleme Üzerine Acı Bir Ders
Büyük model ön eğitiminde veri filtrelemenin gerekliliği sorgulanıyor. Düşük kaliteli veriler bile fayda sağlayabilir.
Yeni ölçekleme çalışmaları ile büyük model ön eğitiminde veri filtrelemenin etkilerini araştırıyoruz. Yüksek hesaplama gücü ve veri kıtlığı koşullarında, yalnızca yüksek kaliteli bilgileri içeren verilerin filtrelenmesinin gerekli olduğu yaygın bir inanç olmasına rağmen, deneylerimiz yeterli hesaplama gücü ile en iyi veri filtrenin veri filtresi olmaması olduğunu göstermektedir. Yeterince eğitilmiş büyük parametreli modeller, düşük kaliteli ve dikkat dağıtıcı verileri tolere etmekle kalmaz, aynı zamanda nominal olarak "kötü" verilerden fayda sağlar.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz