SecProbe: Adaptive Evaluation of Coding Agents on Cybersecurity Vulnerabilities

arXiv cs.CR · 29 sept, 06:00

SecProbe es un marco de evaluación adaptativa que combina la Teoría de Respuesta al Ítem (IRT) con síntesis bajo demanda de tareas de reparación de vulnerabilidades a escala de repositorio. El equipo evaluó nueve modelos de frontier con tareas que abarcan seis lenguajes de programación y 151 tipos de CWE, revelando que las tasas de éxito alcanzan solo el 28,33%, lo que indica brechas significativas en el reconocimiento y reparación de vulnerabilidades.