SWE-Bench Pro'da Görevlerin %30'u Bozuksa, Skor Tablosuna Belirsizlik Payı Gerekir

OpenAI'nin 8 Temmuz 2026'da yayımladığı denetim, SWE-Bench Pro görevlerinin yaklaşık %30'unun bozuk olduğunu ortaya koydu. Bu bulgu, liderlik tablolarının dayandığı temel varsayımı sarsıyor: paydadaki her görevin geçerli ve eşit şekilde yorumlanabilir olduğu varsayımı artık güvenli değil.

Önerilen çözüm ölçüm sistemini tamamen terk etmek değil; görev geçerliliğini sürüm kontrollü hale getirmek, tartışmalı vakaları saklamak ve sonuçların olası paydalar arasında nasıl değiştiğini yayımlamaktır. Model sonucu (geçti/kaldı/altyapı hatası) ile görev geçerliliği (geçerli/bozuk/tartışmalı) ayrı alanlarda tutulmalı, her satır veri kümesi, harness ve model yapılandırma sürümlerini içeren bir kanıt zinciriyle gelmelidir.

Yazı, geçerli-only, tüm-denenenler ve bir belirsizlik aralığı olmak üzere üç skorun birlikte yayımlanmasını öneriyor; ayrıca modeller arası karşılaştırmaların aynı uygun görev kümesi üzerinden yapılmasını zorunlu kılan bir kabul kuralı sunuyor. Mühendisler için asıl ders mimari: bir benchmark görevi basit bir dizi elemanı değil, girdi, oracle, ortam ve puanlama yolunun kapasiteyi gürültüden ayırabildiğini iddia eden sürümlü bir önermedir.