Yapay zekayla kendi yapay zekasını sızma testine tabi tutmak

Bir LLM'e kendi sistemini test etmesini söylediğinizde genelde 'şu uç nokta savunmasız olabilir' türünden belirsiz ve doğrulanamayan ifadelerle dolu bir rapor alırsınız. Bu yazının yazarı, LangGraph tabanlı gerçek bir üretim copilot'una karşı çalışan agent-redteam adlı yerel bir saldırı çatısı kurarak bu sorunu çözmeye çalışıyor. Sistem, Anthropic'in ajan tehdit taksonomisini bir 'endişe listesi' olarak değil, çalıştırılabilir bir test planına dönüştürüyor.

Çözümün kalbi basit ama güçlü: her saldırı sınıfına, LLM içermeyen deterministik bir 'oracle' fonksiyonu atanıyor. Örneğin bir kiracının belgesine yerleştirilen benzersiz bir canary string'in başka bir kiracının yanıtında çıkıp çıkmadığını kontrol eden basit bir Python fonksiyonu, ya da sahte bir token'ın 401/403 yerine 2xx döndürüp döndürmediğini kontrol eden bir durum kodu kontrolü. LLM sadece saldırı tarafında yaratıcı davranıyor — rol yapma, encoding, dolaylı enjeksiyon gibi teknikler deniyor — ama başarı/başarısızlık kararı asla bir dil modelinden geçmiyor.

Yazar, beş temel tehdit kategorisini (prompt injection, kiracılar arası veri sızıntısı, sistem prompt ifşası, kimlik/yetki suistimali, kaynak tüketimi) numaralı Markdown dosyalarına dönüştürmüş; her dosyada hedef, teknik, yükler ve tek bir isimlendirilmiş oracle bulunuyor. Doğrulanmış exploit'ler bir regresyon koleksiyonuna ekleniyor, böylece kapatılan bir açık kapalı kalıyor. Son çalıştırmada 31 saldırıdan sadece biri doğrulanmış, bu da yaklaşımın gürültüyü ne kadar azalttığını gösteriyor.

Mühendisler için ders açık: LLM'i saldırgan yapın ama asla hakem yapmayın. Karar mantığını dumb ama deterministik bir fonksiyona bağlamak, AI destekli güvenlik testlerini 'inandırıcı metin üretimi'nden gerçek, tekrarlanabilir doğrulamaya dönüştürüyor.