Says Block, Still Acts: Why LLM Safety Judgments Fail to Govern Action in LLM Agents

arXiv cs.CR · 30 sept, 06:00

Un estudio demuestra que los agentes basados en LLM pueden juzgar correctamente que una acción debe bloquearse, pero aun así preferir ejecutarla. La investigación revela que el problema no es pérdida de información, sino un acoplamiento débil entre los circuitos de decisión de seguridad y los de selección de acciones, lo que sugiere que mejorar solo el reconocimiento de amenazas es insuficiente para garantizar la seguridad del agente.