Amaç Özel LLM Ajanlarında Prompt Injection Saldırılarını Tespit Etme
Amaç özel LLM ajanlarında prompt injection saldırılarını tespit etmek için yeni bir çerçeve önerilmektedir.
Büyük dil modelleri (LLM'ler), müşteri hizmetleri ve kod üretimi gibi belirli görevleri yerine getirmek için giderek daha fazla kullanılmaktadır. Bu ajanlar, yalnızca genel güvenlik önlemlerine değil, aynı zamanda belirli rollerine uygun özel kısıtlamalara da uyması beklenmektedir. Ancak, bu ek kısıtlamalar, prompt injection (PI) saldırılarına karşı daha geniş bir saldırı yüzeyine yol açmaktadır. Mevcut tespit yöntemleri, girdi-çıktı kalıplarını analiz etmeye dayanmakta ancak sınırlı etkinlik göstermektedir. Bu çalışmada, LLM'lerin gizli aktivasyon alanını analiz ederek, belirlenen amacın ötesindeki taleplerle karşılaştıklarında, LLM'lerin içsel olarak politika ihlali (PV) kavramlarını nasıl koruduğunu keşfediyoruz. PVDetector adını verdiğimiz, eğitim gerektirmeyen bir çerçeve öneriyoruz. Bu çerçeve, LLM çıkarımı sırasında PI saldırılarını tespit etmek için gizli durum hizalamasını PV kavramlarıyla ölçmektedir.