Attack Success Rate Is Not a Number: On Measurement Validity in Agentic AI Security Evaluation

arXiv cs.CR · 23 sept, 06:00

Un análisis exhaustivo de 259 artículos sobre seguridad de agentes LLM revela que la métrica de «attack success rate» (ASR) carece de definición estandarizada y se reporta de manera inconsistente, con la mayoría de trabajos omitiendo estimaciones de varianza y corridas repetidas. Los autores demuestran que esta falta de rigor puede llevar a conclusiones incorrectas: dos defensas cuyas tasas de éxito reales difieren en solo 5 puntos porcentuales pueden ser clasificadas en orden inverso en una evaluación de una única corrida aproximadamente el 21% de las veces. El trabajo propone una lista de verificación de diez elementos para estandarizar la evaluación de la seguridad en sistemas de IA agentiva.