Büyük Ölçekli Araştırma: LLM Agent Yeteneklerinde Kimlik Bilgisi Sızıntısı

SkillsMP -açık kaynaklı en büyük LLM agent yetenek pazarı- üzerinden örneklenen 17.022 yetenek incelenerek yapılan yeni bir ampirik çalışma, statik gizli anahtar taraması, dinamik sandbox testleri ve geliştirici niyeti ile çalışma zamanı davranışının çapraz karşılaştırılması yöntemlerini kullandı. Araştırmacılar 520 yetenekte toplam 1.708 kimlik bilgisi güvenlik sorunu buldu ve bunları 10 sızıntı deseninden oluşan bir taksonomiye ayırdı.

Bulgulara göre sızıntıların %76,3'ü doğal dil açıklamaları ile kod mantığının birlikte analiz edilmesini gerektiriyor; çünkü yeteneklerin gerçek davranışı çoğunlukla belgelenen niyetten farklı. Açıkların %73,5'i debug loglamadan kaynaklanıyor: agent çerçeveleri stdout çıktısını doğrudan LLM'in bağlam penceresine beslediği için rutin debug ifadeleri kimlik bilgisi sızıntı kanalına dönüşüyor.

Sızan kimlik bilgilerinin %89,6'sı hemen istismar edilebilir durumda ve bunların %92,5'i normal çalışma sırasında yükseltilmiş yetki gerektirmiyor. Yetenek pazarlarında yaygın olan fork tabanlı dağıtım modeli iyileştirme çalışmalarını etkisiz kılıyor: 107 üst akış deposundan kaldırılan gizli bilgiler 50'den fazla bağımsız fork'ta hâlâ mevcut. Sorumlu ifşa sürecinin ardından kötü amaçlı yetenekler kaldırıldı, sabit kodlanmış vakaların %91,6'sı düzeltildi; ekip veri setini, taksonomiyi ve tespit hattını gelecekteki araştırmalar için yayınladı.