Last Secure Code Benchmark: Is the Code You Vibe Secure?

arXiv cs.CR · 14 oct, 06:00

Investigadores presentan el Last Secure Code Benchmark, una evaluación exhaustiva de si los agentes de codificación basados en IA generan código seguro. El benchmark incluye 450 tareas basadas en 150 vulnerabilidades reales en siete lenguajes, cubriendo 24 CWEs y debilidades OWASP Top 10. Los resultados muestran que aunque los agentes alcanzan tasas de funcionalidad del 73,6% al 91,3%, solo el 25,1% del código de Claude Fable 5 (el mejor modelo) es a la vez funcional y seguro, lo que plantea serias dudas sobre la seguridad del código que generan estos sistemas.