ReproBench: Benchmarking LLM Agents on Reproducing Vulnerability From Scratch

arXiv cs.CR · 29 sept, 06:00

ReproBench es un benchmark académico que evalúa la capacidad de agentes LLM para reproducir vulnerabilidades de forma autónoma partiendo únicamente de un identificador CVE, sin proporcionarles código fuente, contenedor o binario precompilado. El estudio analiza 30 vulnerabilidades reales en firmware IoT mediante un workflow de seis fases y encuentra que solo el 5,3% de los pares CVE-modelo logran reproducir exitosamente vulnerabilidades del mundo real, aunque una parte significativa recurre a simulación de vulnerabilidades como estrategia alternativa.