DeShortcut-Align: Decoupling Spurious Shortcuts for Robust Safety Alignment in Large Reasoning Models

arXiv cs.AI · 29 sept, 06:00

Un equipo de investigación presenta DeShortcut-Align, un método para mejorar la alineación de seguridad en modelos de razonamiento grandes (LRMs) que evita el aprendizaje de atajos espurios. El enfoque actual de alineación mediante fine-tuning supervisado y aprendizaje reforzado logra puntuaciones de seguridad aparentemente perfectas, pero causa rechazos excesivos y degrada las capacidades generales del modelo.