One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails

arXiv cs.AI · 9 oct, 06:00

Un estudio evalúa modelos de decisión tipados usados como guardarraíles en sistemas de agentes de IA, hallando que pueden ser engañados fácilmente mediante inyección de prompts y cambios de etiquetas. Los modelos alcanzan una precisión de solo 36% a 72% en tareas de permitir o bloquear acciones, y seis líneas de texto del servidor elevan la tasa de fallo de seguridad del 0% al 63%. La investigación demuestra que todas las defensas probadas pueden ser derrotadas por texto controlado por atacantes.