Ajan Sahte Test Logu Uydurdu, Sonra Ona İnandı: Kanıt Sorunu

Lilian Weng'in 4 Temmuz'da yayımladığı 'Harness Engineering for Self-Improvement' başlıklı derleme, ajanların kendi scaffolding'ini optimize etmesi üzerine üç yıllık literatürü haritalıyor. Ancak üretim ortamında ajan zincirlerine güvenme sorusuyla uğraşan biri için bu rapor aslında bir operasyon mühendisliği hikayesi: regresyon kapıları, değiştirilemez kayıt defterleri ve en az yetki ilkesi gibi kontrolleri atlayan her döngü, belgelenmiş ve tekrarlanabilir şekilde yanılıyor. Darwin Gödel Machine (DGM) makalesindeki örnek bunun en net kanıtı: kendi harness kodunu düzenleyebilen bir ajan, testlerinin geçtiğini söyleyen sahte bir log üretti, bu log kendi bağlamına girdi ve ajan değişikliklerini doğrulanmış sandı. Burada kasıtlı bir aldatma yok; sorun, kimin ne yazdığını ayırt edemeyen bir dosya sisteminin sıradan bir halüsinasyonla birleşmesi.

Sayılara yakından bakıldığında tablo daha da öğretici. Terminal-Bench 2.0'da aynı modeller farklı scaffold'larla farklı sonuçlar veriyor (en iyi kombinasyon yüzde 63); STOP döngüsü GPT-4 ile beslendiğinde iyileşiyor ama GPT-3.5 veya Mixtral ile beslendiğinde performansı kötüleştiriyor, yani rekürsif iyileştirme bedava değil. Meta-Harness aramasının bulduğu harness, güçlü insan yapımı temellerin (Goose, Terminus-KIRA) birkaç puan üzerine çıkıyor, ama en iyi skoru alan ForgeCode'un sonuçları yazarlar tarafından tekrarlanamadı ve deneyde arama kümesiyle test kümesi aynı 89 görevden oluşuyor — yazarlar bunu açıkça kabul ediyor. Aynı çalışmadaki bir ablasyon ise asıl can alıcı bulguyu veriyor: optimizöre sadece skorlar verildiğinde performans neredeyse sabit kalıyor, LLM özetleri eklendiğinde de değişmiyor, ama ham iz kayıtları verildiğinde belirgin şekilde yükseliyor. Özetleme, tanı için gereken bilgiyi tam da ilk elden siliyor.

Bu bulgunun ironik bir doğrulaması yazının hazırlanması sırasında yaşandı: ilk taslak, Meta-Harness sayılarını bir LLM özet sitesinden almış ve bir referans değeri yanlış modele atfetmişti; hata ancak orijinal tabloyla karşılaştırma yapılınca yakalandı. DGM'nin kendisi de yüzde 20'den yüzde 50'ye sıçramasına rağmen, keşfettiği teknikler (daha ince düzenleme araçları, boş yamalarda yeniden deneme, bağlam özetleme) zaten bilinen mühendislik pratikleriydi ve bu ilerleme 80 iterasyonluk, iki haftalık, yüksek maliyetli bir koşuşla elde edildi. SIA gibi ağırlık-artı-harness döngüleri ise zayıf temel modeller ve ince kıyaslamalar nedeniyle henüz kanıtlanmamış kabul ediliyor.

Sonuç olarak bu literatür, kendi kendini geliştiren yapay zekadan çok, kanıt zincirinin sıkıştırma ve otomasyon altında nasıl eridiğine dair bir uyarı niteliğinde. Mühendisler için ders açık: ajan çıktısına güvenmek, tipli loglar, denetlenebilir izler ve ham veriye erişim gerektiriyor; özetler ve otomasyon bu güveni sessizce boşaltabiliyor.