OpenAI, kendi önerdiği SWE-Bench Pro'yu geçersiz ilan etti
OpenAI'nin yaptığı denetime göre SWE-Bench Pro görevlerinin yaklaşık %30'u kusurlu çıktı. Şirket, ajan tabanlı kodlama benchmark'ı için verdiği önceki tavsiyeyi geri çekti.
OpenAI, daha önce sorunlu bulunan SWE-Bench Verified'ın yerine önerdiği SWE-Bench Pro'yu kendi denetiminden geçiremedi. Şirketin yayımladığı yeni raporda, 731 görevin yaklaşık %30'unun (yönteme göre 200-249 görev) kusurlu olduğu tespit edildi. Denetim, aşırı katı testler, eksik tanımlanmış promptlar, düşük kapsamlı testler ve yanıltıcı görev tanımları gibi dört temel sorun kalıbı ortaya koydu. Kök neden, benchmark'ların gerçek GitHub pull request'lerinden türetilmesi; insan işbirliğiyle oluşan PR'lar, model yeteneğini ölçmek için tasarlanmış temiz görevler üretmiyor.
Denetimde dikkat çeken bir detay, OpenAI'nin Codex tabanlı yapay zeka 'araştırmacı ajanları' kullanarak benchmark'ı incelemesiydi — yani modeller artık kendi ilerlemelerini ölçmek için kullanılan testleri denetleyebiliyor. Bu döngü, model yeteneklerinin gelişmesiyle birlikte değerlendirme hatalarının çok daha hızlı ve derinlemesine tespit edilebildiğini gösteriyor.
Mühendisler için sonuç net: SWE-Bench Pro skorlarına referans verirken %30'luk belirsizlik payını hesaba katmak, kendi eval'lerini kurarken insan PR'larını yeniden kullanmak yerine model yeteneğini test etmek üzere özel olarak tasarlanmış görevler aramak gerekiyor. OpenAI, deneyimli yazılım geliştiriciler tarafından özel olarak hazırlanmış yeni benchmark'lar çağrısı yaptı ancak kendi kullanacağı alternatif konusunda henüz bir açıklama yapmadı. Bu gelişme, agentic kodlama benchmark'larının son 18 aydır yaşadığı güvenilirlik krizinin yeni bir örneği olarak öne çıkıyor.