SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving

arXiv cs.AI · 23 sept, 06:00

SWE-Serve es un benchmark académico que evalúa agentes de IA en tareas de ingeniería de inferencia en producción, cubriendo desde soporte de modelos hasta APIs públicas. El estudio expone una brecha significativa entre completar tareas localmente y lograr corrección en producción: un tercio de los parches que pasan otros tests fallan en pruebas end-to-end. El trabajo contribuye a medir si los agentes de IA pueden ir más allá de soluciones locales para alcanzar robustez en entornos de producción.