Yerel LLM Modelim 6/6 Skor Aldı, Her Seferinde Yanlış Cevap Verdi
Yerel LLM modelinin yanıt biçimi ile değeri arasındaki farkı keşfedin.
Bir yerel model, 12 kişiden 5 kişilik komitelerin sayısını soran bir testte 60 yanıtını verdi, doğru cevap ise 792'ydi. Model, cevapların doğru olup olmadığını kontrol eden bir değerlendirme sürecinden geçti ancak tüm cevapları yanlıştı. Bu durum, modelin yanıt biçimini ölçmenin, yanıtın değerini ölçmekten daha önemli olduğunu gösteriyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz