Yapay Zekamın Slack Erişimini Denetleyince Hiç Kullanılmayan Bir Kontrol Buldum

Bir mühendis, MCP araçları üzerinden bir yapay zeka ajanına ekip Slack alanına doğrudan mesaj gönderme izni verdi ve buna üç güvenlik kontrolü ekledi: kanal ID'lerini kör kullanmamak için isim tabanlı kanal arama, kritik mesajlar için taslak-onay adımı ve gönderim sonrası kanalı yeniden açıp sonucu doğrulama. Oturum günlükleri denetlendiğinde, özellikle riskli gönderimleri önlemek için benimsenen taslak-onay aracının incelenen hiçbir projede tek bir kez bile çağrılmadığı ortaya çıktı.

Denetim ayrıca daha küçük ama öğretici bir hatayı da gün yüzüne çıkardı: kanal arama izini anlatan önceki bir açıklama, yapay zekanın hedef kanalı bulduğunu iddia ediyordu; oysa ham günlükler bunun doğru olmadığını, sadece 2019'dan kalma alakasız, arşivlenmiş bir kanalın karşımıza çıktığını ve gerçek hedefin o dizide hiç bulunamadığını gösterdi. Hata, biri özetlere güvenmek yerine ham araç çıktılarını yeniden okuyunca fark edildi.

Genel ders Slack'in çok ötesine geçiyor: 'yapay zekanın eylemi işe yaradı' ile 'ne yaptığını doğrulayabilirim' birbirinden farklı iki iddia. Gönderim öncesi kontroller (isim arama, taslak onayı gibi) bir spesifikasyon boşluğunu kapatır — yapay zeka niyeti doğru anladı mı; gönderim sonrası kontroller ise bir doğrulama boşluğunu kapatır — gerçek sonuç, yapay zekanın kendi raporundan bağımsız olarak teyit edilebiliyor mu. Sadece bunlardan birini uygulayan sistemler, kimsenin fark etmediği şekilde 'kendinden emin ama yanlış' ajanlar üretebilir; bu, ajanların yanlış hedeflere mesaj gönderdiği gerçek dünya olaylarında zaten bilinen bir başarısızlık biçimi.

Araç erişimi olan yapay zeka ajanları geliştiren mühendisler için bu yazı, güvenlik mekanizmalarının kodda var olduğu için kullanıldığını varsaymak yerine, gerçek araç çağrısı günlüklerinin denetlenmesi gerektiğine dair somut bir argüman sunuyor.