« Tüm yayınlar

Kontrol/Veri Sınırı Problemi Olarak Prompt Enjeksiyonu

Prompt enjeksiyonu, kontrol/veri sınırı problemi olarak yeniden ele alınıyor. İki kanallı tasarım, güvenilmeyen içeriğin etkisini azaltmayı amaçlıyor.

Prompt enjeksiyonu, genellikle bir LLM davranış problemi olarak tanımlanır. Ancak, bu durumun kontrol/veri sınırı problemi olarak yeniden çerçevelenmesi önemlidir. Uygulamalar, güvenilmeyen metinlerin talimat benzeri kontrol olarak kullanılmasına izin veriyor. Bu, modelin güvenilir talimat ile veri arasında net bir ayrım yapamamasından kaynaklanıyor. Önerilen iki kanallı tasarım, güvenilmeyen içeriği veri düzleminde kabul ederken, güvenilir talimatların kontrol düzleminde işlenmesini sağlıyor.