CyberArena: Benchmarking AI Agents in Live Symmetric Attack-and-Defense Combat

arXiv cs.CR · 15 oct, 06:00

CyberArena es un benchmark dinámico que evalúa agentes de IA en combate simétrico de ataque y defensa en tiempo real, donde dos agentes compiten simultáneamente como atacantes y defensores sobre servicios que cambian continuamente. A diferencia de los benchmarks estáticos, prueba la capacidad de los agentes para descubrir, explotar y parchear vulnerabilidades bajo presión dinámica, separando las capacidades de 12 agentes LLM frontier en 40 desafíos y 466 enfrentamientos.