Yapay Zeka Kodlama Ajanları: Ağacın Dalını mı, Kökünü mü Alıyor?

SWE-bench skorları 2023'teki %1,96'dan 2025 ortasında %74,9'a çıktı ve METR'nin ölçtüğü 'model başına tamamlanabilen görev süresi' her üç ayda bir ikiye katlanıyor. Ancama kirlenmeye dirençli SWE-bench Pro testinde, aynı sınıf modeller büyük ve tanıdık olmayan depo görevlerinde %23 seviyesine geriliyor; geliştiricilerin %84'ü AI araçlarını kullanırken sadece %3'ü çıktıya yüksek güven duyuyor.

Bu ayrışmanın altında yatan mekanizma net: derleyici ve test gibi ucuz doğrulayıcılara karşı pekiştirmeli öğrenme, kodu bu döngü için ideal bir zemin haline getiriyor. François Chollet ve Andrej Karpathy gibi en sert şüpheciler bile artık rutin implementasyon katmanında ilerlemeyi kabul ediyor — ama mimari özelleşme ve sistem düzeyinde performans söz konusu olduğunda çekinceler sürüyor.

Çekirdek tez şu: ajanların yeteneği doğrulama maliyetiyle ters orantılı ilerliyor. Yaprak seviyesinde doğrulama ucuz (test kırmızıya döner ya da dönmez), kök seviyesinde ise doğrulama bir olay incelemesi ya da piyasanın kendisi. PerfCodeBench ve SWE-Perf gibi çalışmalar, modellerin paralellik ve GPU optimizasyonunda hâlâ maliyet modelini 'sahiplenmediğini' gösteriyor. Model çöküşü araştırmaları ise, reddedilen bir yamanın iyi bir açıklamayla birlikte, geçen ama gizli kusur taşıyan bir yamadan daha değerli bir eğitim verisi olabileceğini öne sürüyor — kıt kaynak artık kod değil, muhakeme izleri.