LLM Değerlendiricileri Diller Arasında Taraflıdır
LLM değerlendiricilerinin çok dilli ortamda taraflı olduğu ve düşük kaynaklı dillerin daha yüksek puanlar aldığı gösterilmiştir.
LLM değerlendiricileri, çok dilli ortamlarda güvenilir, dil nötr puanlama varsayımı altında çalışmamaktadır. 23 dilde yapılan deneylerde, değerlendiricilerin farklı dillerde önemli ölçüde farklı puanlar verdiği bulunmuştur. Düşük kaynaklı dillerin daha cömert puanlar aldığı gözlemlenmiştir. Bu durum, model belirsizliği ile ilişkilidir ve dil kimliği önemli bir belirleyici olmaya devam etmektedir.