SEAD: A State-Based Perspective on Attack and Defense in Tool-Using Agents

arXiv cs.CR · 29 sept, 06:00

Investigadores presentan SEAD, un marco que modeliza ataques y defensas en agentes basados en modelos de lenguaje que utilizan herramientas externas. El trabajo introduce DART, una técnica de ataque que descompone objetivos dañinos en pasos localmente plausibles usando retroalimentación de ejecución, y SAGE, un defensor que investiga el estado del sistema antes de permitir cada acción. En evaluaciones en línea, SAGE reduce el éxito de ataques ejecutables de DART del 48% al 4%.