Luc Julia'nın %64 LLM güvenilirlik iddiasının arka planı
Luc Julia'nın %64 güvenilirlik oranının arka planını inceleyen yeni bir kaynak oluşturuldu.
Luc Julia'nın yıllardır tekrar ettiği %64 güvenilirlik oranı, 2022'deki bir ChatGPT değerlendirmesine dayanmaktadır. Bu yeni kaynak, bu değerlendirmeyi yeniden inşa ederek, modelin farklı sorulara verdiği yanıtları standart bir şekilde puanlamayı mümkün kılmaktadır. Sonuçlar, mevcut modellerin bu belirli görevdeki performansını ölçmektedir.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz