NVIDIA'dan Daha Güvenli AI Ajanları için Dört Öneri

NVIDIA AI Red Team, son altı ayda basit kodlama araçlarından her zaman çalışan otonom dijital asistanlara kadar çeşitli AI ajanlarını test etti. Sonuç, framework fark etmeksizin tekrar eden dört zafiyet kalıbı: ajana erişim kontrolü eksikliği, keyfi kod çalıştırmaya izin veren araçlar, ağ çıkış (egress) kısıtlaması olmaması ve gizli anahtarların düz metin olarak ajana açık olması.

Ekip, komut satırı araçlarının LLM-as-a-judge denetimi veya izin listeleriyle bile saldırgan girdisi karşısında yetersiz kaldığını, dosya yazma izinlerinin bile ~/.bashrc gibi dosyalar üzerinden kod çalıştırmaya yol açabildiğini gösterdi. Ağ çıkışı varsayılan olarak reddedilmediğinde ise sızdırma ve ters kabuk bağlantıları çok daha kolaylaşıyor.

Mühendisler için çıkarım net: en az ayrıcalık ilkesiyle erişim kontrolü, komut çalıştırma araçlarından kaçınma veya sıkı izin listesiyle izole ortamda çalıştırma, varsayılan-red ağ politikası ve sırların yalnızca ihtiyaç anında, kısa ömürlü token'lar olarak sağlanması, ajan tabanlı sistemlerde saldırı yüzeyini önemli ölçüde daraltıyor.