AI Kodlama Ajanları İçin Etkili İnsan Denetimi Nasıl Kurulur
AI kodlama ajanlarında onay prompları neden yetersiz kalır? Eylemleri risk derecesine göre sınıflandırıp doğru kontrolü eşleştiren pratik yaklaşım.
Kodlama ajanlarını her adımda 'onaylıyor musun?' sorularıyla kuşatmak güvenlik değil, teatral bir jesttir. Araştırmalar, insanlara görev ortasında müdahale şansı verildiğinde zararlı eylemi gerçekten yakalama başarısının %9-26 bandında kaldığını gösteriyor; insanlar diff yığınları arasında kaybolup onayı otomatik veriyor. Çözüm, her eylemi geri alınabilirlik, etki alanı ve risk düzeyine göre G0'dan (önemsiz) G3'e (kritik) kadar derecelendirip kontrolü buna göre eşleştirmek: okuma/arama serbest ve loglanır, kod düzenleme ve sandbox testleri bildir-ve-geri-al mantığıyla ilerler, ana dala birleştirme ve riskli kurulumlar gerçek bir inceleme (maker-checker) gerektirir, kabuk komutları (rm, mv, cp), doğrulanmamış bağımlılık kurulumları ve prodüksiyon dağıtımları ise onay değil doğrudan önleme ile ele alınır.
Buradaki kritik nokta, çoğu ajanın sunduğu 'checkpoint/geri al' özelliğinin sadece yapılandırılmış dosya düzenlemelerini kapsaması; terminalde çalışan silme veya taşıma komutları bu geri alma sınırının tamamen dışında kalıyor. Bu yüzden en yıkıcı eylemler tam olarak insanın en az yakalayabildiği eylemler oluyor. Pratik önlemler arasında ajanı varsayılan olarak ağ erişimi olmayan, kapsamı daraltılmış kısa ömürlü kimlik bilgileriyle sandbox içinde çalıştırmak, birleştirme ve dağıtımlarda öneren ile onaylayanın farklı kişiler olmasını zorunlu kılmak ve gerçek silme gerektiğinde bunu ham kabuk komutu yerine dar kapsamlı, geri alınabilir bir işlem üzerinden yönlendirmek yer alıyor. Bu yaklaşım aynı zamanda ajanın gizli anahtarlara erişimi, güvenilmeyen içerikle teması ve dışa ağ yolunu aynı anda taşıdığı 'öldürücü üçleme' senaryosunu da etkisiz hale getiriyor, çünkü zararlı talimat insanın hiçbir zaman okumayacağı içerikte gizli olabiliyor.
Mühendisler için sonuç net: onay ekranları yalnızca insanın sorunu gerçekten görüp durdurabileceği dar bantta işe yarar; geri kalan her şey tasarımla önlenmeli.