You Changed Your Mind, The Model Didn't: Demystifying Intent in Multi-Turn Dialogue

arXiv cs.AI · 6 oct, 06:00

Investigadores descubren que los LLM fallan en tareas multiturno cuando un usuario menciona un cambio y luego lo rechaza: el modelo trata el cambio rechazado como si siguiera activo, confundiendo contenido conversacional mencionado con requisitos efectivos. Presentan Intent-Eval, un benchmark controlado para evaluar esta vulnerabilidad en herramientas, código, bases de datos y matemáticas, y proponen Intent-OPSD, un framework de autodestilación para que los modelos distingan entre lo mencionado y lo que permanece vigente.