Açık kaynaklı yeni benchmark, AI modellerindeki siyasi eğilimi ölçüyor
Açık kaynaklı The Neutrality Project, AI modellerinin siyasi eğilimlerini altı eksende ölçen, yeniden üretilebilir bir benchmark yayınladı.
The Neutrality Project adlı açık kaynaklı girişim, ilk çıkışını 'Political Neutrality Benchmark' ile yaptı. Proje, büyük dil modellerinin 3.987 gerçek kamuoyu anketi sorusuna verdiği yanıtları analiz ederek ekonomi, toplumsal değerler, dış politika, çevre, din ve ulusal kimlik olmak üzere altı eksende modelin konumunu hesaplıyor.
Yöntemin iki temel özelliği dikkat çekiyor: aynı model önce nötr, sonra aşırı sol ve aşırı sağ rolünde çalıştırılarak kendi ölçeğine göre kalibre ediliyor; ayrıca hangi cevabın 'sol' ya da 'sağ' sayılacağı, farklı ülke ve laboratuvarlardan bağımsız modellerden oluşan bir panel tarafından önceden sabitleniyor. Bir model, kendi ailesinin hazırladığı kurala göre değerlendirilemiyor.
Geliştiriciler için önemli nokta, sonuçların tek bir 'nötrlük puanına' indirgenmeden her eksende ayrı raporlanması, düşük güvenilirlikli çalıştırmaların işaretlenmesi ve reddedilen soruların sonuçları nasıl etkilediğinin şeffaf şekilde gösterilmesi. Tüm kod, soru seti ve referans veriler açık kaynak, tek komutla yeniden üretilebilir durumda; ekip önümüzdeki adım olarak konu bazlı çerçeveleme ve sansür tespiti benchmark'larını planlıyor.