SINGED: Correct Outputs Do Not Certify Safe Execution in LLM Agents

arXiv cs.CR · 30 sept, 06:00

Un estudio sobre agentes LLM que utilizan herramientas de terceros revela que las salidas correctas no garantizan ejecución segura: implementaciones falsificadas pueden devolver el resultado solicitado mientras ejecutan efectos ocultos prohibidos. El benchmark SINGED demuestra que en el 45% de los casos con una única opción, el agente selecciona la ejecución maliciosa, aunque este problema se reduce cuando hay alternativas benignas disponibles.