Silent Failures in Agentic Security Evaluation: A Validated Harness for Tool-Call Mediation Under Indirect Prompt Injection

arXiv cs.CR · 29 sept, 06:00

Investigadores auditan un benchmark de seguridad para agentes LLM bajo inyección indirecta de prompts y descubren cuatro clases de defectos críticos en la evaluación que producen resultados incorrectos pero publicables. Por ejemplo, un modelo reportado con 62,8% de tasa de ataque exitoso en realidad tiene 0% bajo la metodología corregida, y otro muestra 21,7% en lugar del verdadero 1,2%. El equipo publica un harness validado que impide estos defectos y reclama que la validez de evaluación debe ser requisito previo, no apéndice, en la seguridad de agentes.