Threat-Preserving Representation Sensitivity in Agent-Security Benchmarks

arXiv cs.CR · 5 oct, 06:00

Un estudio en arXiv analiza cómo la representación visual y textual de las herramientas en benchmarks de seguridad para agentes basados en LLM afecta significativamente a las métricas de robustez. Los investigadores descubren que cambiar nombres de herramientas entre versiones "threat-related" y "threat-neutral" puede alterar la tasa de éxito de ataque hasta en 13 puntos porcentuales, lo que cuestiona la validez de las conclusiones sobre seguridad de modelos basadas en una única representación.