PoPE: Küçük Kod LLM'lerinde Hata Koşullu Kendini Onarma Değerlendirmesi
PoPE, küçük kod LLM'lerinde hata koşullu kendini onarma için yeni bir değerlendirme standardı sunuyor.
Araştırmacılar, donmuş küçük kod Büyük Dil Modelleri (LLM'ler) için öğrenilmiş hata koşullu kendini onarma etkinliğini ölçmek amacıyla PoPE (Popperian Placebo-controlled Evaluation) adlı yeni bir metodoloji geliştirdi. Bu yaklaşım, başarısız denemelerden elde edilen bilgilerin sonraki tekrarları nasıl yönlendirdiğini değerlendirirken, mevcut kendini onarma literatüründeki önemli bir boşluğu dolduruyor. PoPE, bir başarısız programı bir varsayım olarak ele alırken, bir yürütme karşıt örneğini bir oracle göreli çürütme olarak kullanıyor.