Discovery or Memorization? A Faithful Benchmark for Real-World Business-Logic Vulnerability Discovery

arXiv cs.CR · 14 oct, 06:00

Investigadores presentan AnonVul, un benchmark para evaluar agentes de IA en el descubrimiento de vulnerabilidades de lógica de negocio. El benchmark incluye 132 vulnerabilidades reales en nueve lenguajes de programación, anonimizadas para evitar contaminación de datos y con oráculos integrados para verificar pruebas de concepto. Las pruebas de seis agentes de última generación muestran que el mejor logra solo un 23,11% de éxito, demostrando que sigue siendo un desafío relevante.