The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale

arXiv cs.AI · 23 sept, 06:00

Un equipo presenta CLAIM, un sistema de generación automática de preguntas de evaluación educativa que emplea un protocolo adversarial donde un modelo LLM actúa primero como diseñador curricular y luego como revisor hostil. El pipeline alcanza una tasa de aceptación del 97,8% en evaluaciones de expertos, pero análisis ciegos con múltiples jueces revelan que el acuerdo binario es débil (kappa ≈ 0,13) y que la calidad depende completamente del evaluador utilizado. El trabajo expone una asimetría: preguntas de opción múltiple saturan en 98%+ con modelos frontier, mientras que preguntas de respuesta libre muestran capacidad estratificada (82,8-96,7%) y se estancan bajo optimización de prompts, revelando limitaciones estructurales de los decodificadores autorregresivos en tareas de determinación de límites abiertos.