Review-Loop Engineering: Ajan Döngülerinde İnsan Denetimini Tasarlamak
Ajan kodlama döngülerinde insan denetimini gerçek kılan 'review-loop engineering' yaklaşımı: üç döngü, inceleme paketleri ve rubber-stamp riski.
Kodlama ajanlarını döngüler halinde çalıştırmak artık yaygınlaşıyor: bir sistem ajanı tetikliyor, işi buluyor, testleri çalıştırıyor ve sonucu insana devrediyor. Ancak mühendislik ilgisi genelde makine tarafında yoğunlaşıyor — ajan kaç alt görev üretebilir, hangi model kararı denetler, token bütçesi ne kadar. İnsan tarafında ise çoğu zaman sadece bir 'onayla' butonu var; bu gerçek bir denetim değil, bir gelen kutusu.
Bu yazı, eksik katmanı 'review-loop engineering' olarak adlandırıyor: değişikliği, kanıtı, kapsanmayan alanları ve insanın gerçekten vermesi gereken kararı içeren bir inceleme paketi tasarlamak. Üç döngü ayrımı öneriliyor — ajan döngüsü (değişikliği yapar), doğrulayıcı döngü (testler, ayrı bir değerlendirici) ve insan döngüsü (yönü belirler, eskalasyonlara karar verir, bulguları daha iyi spesifikasyonlara dönüştürür). İlk ikisi hızlı çalışabilir ama üçüncüsü yavaştır çünkü anlamak zaman alır.
Asıl mesaj şu: 'human in the loop' başlı başına bir güvenlik önlemi değildir. İnsan teknik olarak döngüde olabilir ama fonksiyonel olarak yok sayılabilir — opak bir diff, yeşil bir test çıktısı ve bir onay butonu anlamlı gözetim yaratmaz. Doğrulayıcılar (testler, ikinci bir ajan, invaryantlar) gereklidir ama yeterli değildir; her doğrulayıcı yalnızca sorabildiği şeyi sorar. Mühendisler için pratik çıkarım: özet raporları yerine, neyin değiştiğini, neyin kanıtlandığını, neyin kanıtlanmadığını ve hangi kararın insana bırakıldığını açıkça gösteren inceleme paketleri tasarlamak.