ENDOPROMPT: Victim-Side Pseudo-References for Utility Degradation

arXiv cs.AI · 25 sept, 06:00

Investigadores presentan ENDOPROMPT, un método que genera ataques de inyección de prompt capaces de degradar el rendimiento de modelos de lenguaje sin necesidad de etiquetas de tarea ni respuestas objetivo predefinidas. El ataque funciona aprendiendo prefijos que reducen la probabilidad de continuaciones limpias, logrado una degradación media del 26,8% en cuatro modelos instruction-tuned diferentes.