ProtoArena: Can AI Agents Discover and Exploit Real-World Cross-Component Protocol Vulnerabilities?

arXiv cs.CR · 14 oct, 06:00

ProtoArena es un nuevo benchmark que evalúa si agentes de LLM pueden descubrir y explotar vulnerabilidades reales en protocolos de red basadas en interacciones entre componentes. El estudio prueba cinco modelos de lenguaje sobre 80 entornos de vulnerabilidad en 11 dominios de protocolos y aplicaciones, encontrando que Claude Opus 4.8 logra tasas de éxito del 48,8 % con orientación completa y del 12,5 % en exploración sin contexto, demostrando que la IA puede explotar algunas vulnerabilidades pero con capacidad limitada en escenarios sin información detallada.