VulContextBench: A Benchmark for Security Context Retrieval in Coding Agents

arXiv cs.CR · 29 sept, 06:00

VulContextBench es un benchmark que evalúa si los agentes de código encuentran y citan correctamente el contexto relevante en auditorías de seguridad, más allá de si alcanzan el veredicto correcto. Los investigadores auditaron manualmente 111 commits que introducen vulnerabilidades en 83 repositorios y cinco lenguajes, anotando bloques de código con sus roles en la evidencia. Las pruebas con siete modelos frontier revelan que todos exploran la mayor parte del código relevante pero citan solo una fracción en sus reportes finales.