Expected Reasoning-Step Return Unifies On-Policy Learning from Rewards and Teachers

arXiv cs.AI · 29 sept, 06:00

Investigadores presentan Expected Reasoning-Step Return (ERSR), un marco que unifica el aprendizaje de modelos de razonamiento a partir de recompensas de tareas y señales de maestros. El método trata los pasos de razonamiento como macro-acciones y utiliza rollouts de política de estudiante para comparar acciones propuestas por estudiantes y maestros en un espacio de retorno común.