Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models

arXiv cs.AI · 30 sept, 06:00

Un nuevo método de destilación automática denominado B-OPSD entrena modelos de lenguaje de forma avanzada para crear un maestro mejorado que luego supervisa el entrenamiento del modelo desde su estado inicial. La técnica demuestra mejoras consistentes en tareas de razonamiento matemático con modelos Qwen3, aunque su aplicación práctica es limitada.