On the Reliability of LLM-Based Vulnerability Patching Benchmarks

arXiv cs.CR · 8 oct, 06:00

Investigadores cuestionan la fiabilidad de los benchmarks actuales para evaluar LLMs en reparación automática de vulnerabilidades. El estudio revela que las tasas de éxito reportadas pueden estar infladas por factores de evaluación (prompting, disponibilidad de herramientas, manejo de errores) sin que los parches mejoren la calidad según criterios de desarrolladores.