Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection

arXiv cs.CR · 22 sept, 06:00

Un análisis de XAI sobre Prompt Guard 2 revela que este clasificador, ampliamente usado para detectar prompt injection, puede ser engañado mediante sustitución de sinónimos y paráfrasis que afectan solo una fracción moderada del texto. El estudio muestra que las técnicas de explicabilidad (Vanilla Gradient y SHAP) usadas para entender cómo funciona la defensa pueden simultáneamente facilitar la construcción de bypasses exitosos contra guardrails basados en clasificadores.