Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation

arXiv cs.AI · 29 sept, 06:00

Investigadores presentan Decoupled Credit Self-Distillation (DCSD), un método que mejora cómo los modelos de IA aprenden de supervisión mediante la separación de la dirección del crédito de su magnitud. El enfoque resuelve problemas de acoplamiento en técnicas anteriores que hacen los modelos vulnerables a errores del profesor.