swe-bench

OpenAI, kendi önerdiği SWE-Bench Pro'yu geçersiz ilan etti

OpenAI'nin yaptığı denetime göre SWE-Bench Pro görevlerinin yaklaşık %30'u kusurlu çıktı. Şirket, ajan tabanlı kodlama benchmark'ı için verdiği önceki tavsiyeyi geri çekti.