SWE-Prometheus: Measuring Engineering Governance Improvements in Real-World Repositories

arXiv cs.AI · 25 sept, 06:00

SWE-Prometheus es un benchmark académico para evaluar cómo los agentes de codificación basados en modelos de lenguaje grande mejoran la gobernanza de ingeniería en repositorios reales. El trabajo mide seis dimensiones de gobernanza (tests, CI, calidad, documentación, entornos reproducibles y gestión de dependencias) en 60 repositorios, encontrando que los diez modelos evaluados logran mejoras normalizadas de gobernanza entre 0,0568 y 0,5760.