ArXiv makalelerinin üçte biri artık yapay zeka yazımı gibi okunuyor

12.750 arXiv makalesinin tam metnini tarayan yeni bir çalışma, 2023-2026 arasında gönderilen makalelerin yaklaşık %32'sinin yapay zeka tarafından yazılmış gibi puanlandığını, bazı dönemlerde bu oranın %39'a kadar çıktığını ortaya koyuyor. Çalışmanın güçlü yanı, algılayıcıyı ChatGPT öncesi 2021-2022 makaleleri üzerinde kalibre ederek yanlış pozitif tabanını %0,4 olarak sabitlemesi; böylece artışın algılayıcı yanlılığından değil gerçek bir eğilimden kaynaklandığı gösteriliyor. Ölçüm, özetler yerine makale gövde metni üzerinden ve sürüm-1 PDF'lerle yapılmış, böylece sonradan yapılan düzenlemelerin geçmiş tarihli sonuçları kirletmesi engellenmiş. Alanlar arası fark çarpıcı: bilgisayar bilimleri %65 ile başı çekerken matematik %0,7 ile en düşük seviyede kalıyor. Ancak yazarlar, matematik makalelerinin denklem ve teorem ağırlıklı yapısının algılayıcı için 'dağılım dışı' kalabileceğini, dolayısıyla düşük skorun düşük benimsemeden mi yoksa algılayıcı körlüğünden mi kaynaklandığının ayırt edilemediğini net biçimde belirtiyor. Sonuçlar, akademik yazıda yapay zeka kullanımını izlemek isteyen mühendisler ve araştırmacılar için hem yöntemsel bir referans hem de bir uyarı: bir metnin 'yapay zeka yazımı' olarak işaretlenmesi, o metnin tamamen üretildiği ya da insan yazarlığının reddedildiği anlamına gelmiyor.