Temiz Mühendislik, Dengesiz Ölçüm: Önceden Kaydedilmiş Güvenilirlik Sorunu
Dil modeli yargıçlarının güvenilirliği sorgulandı. 52,988 denemede beklenen sonuçlar elde edilemedi.
Dil modeli yargıçları, eğitim verilerini denetleyerek, üretimleri puanlayarak ve sıralamalar oluşturuyor. Ancak, aynı isteğin aynı model adına gönderildiğinde, yarın da aynı şekilde okunacağı varsayımı üzerine inşa edilen bir ölçüm aracı olarak işlev görüyorlar. İki önceden kaydedilmiş kampanya ile bu varsayımı denetledik ve 52,988 deneme ile sonuçlar, beklenen eşiklerin altında kaldı. Bu durum, ölçüm aracının güvenilirliğini sorguluyor ve mühendisler için önemli bir sorun teşkil ediyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz