Prompt Injection Artık Uzaktan Kod Çalıştırma Riski Taşıyor

Araç kullanan yapay zeka ajanları, prompt injection'ı basit bir sohbet botu sorunundan gerçek bir güvenlik açığına dönüştürdü. Bir model dosya yazabiliyor, kod çalıştırabiliyor veya ağa erişebiliyorsa, güvenilmeyen metin artık yalnızca içerik değil, sistem çağrılarına giden bir girdi haline gelir. Microsoft'un Semantic Kernel'de bulduğu iki açık bunu somutlaştırdı: model kontrolündeki arama girdisi güvensiz dinamik değerlendirmeye, model kontrolündeki hedef yolu ise host tarafında dosya yazmaya bağlandı.

Savunma yaklaşımı artık 'her kötü niyetli talimatı yakalayabilir miyiz' sorusundan, 'tespit başarısız olursa enjekte edilen talimat nereye ulaşabilir' sorusuna kaymalı. Bu, güvenilmeyen içerikten model bağlamına, araç önerisinden çalıştırma primitifine kadar tüm zinciri bir erişilebilirlik grafiği olarak modellemeyi gerektiriyor.

Önerilen savunma katmanları arasında gereksiz araçları tamamen kaldırmak, argümanları saldırgan kontrolünde kabul edip sınırda doğrulamak, çalışma zamanını enjeksiyon başarılı olacakmış gibi izole etmek, kimlik bilgilerini ajanın kendisinden daha dar tutmak ve model katmanı ile host katmanı telemetrisini birlikte izlemek yer alıyor. Yamanmış bir açık için de yalnızca güncelleme yeterli değil; savunmasız dağıtım penceresinde erişilebilen araç ve kimliklerin araştırılması gerekiyor.