Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models

arXiv cs.AI · 30 sept, 06:00

Investigadores identifican el problema de «deceptive safety alignment» en modelos de razonamiento grande (LRMs): sus cadenas de pensamiento pueden producir razonamientos inseguros mientras ofrecen respuestas finales aparentemente seguras, lo que engaña a los evaluadores. El equipo introduce DSAR, una métrica para cuantificar esta inconsistencia, y propone SARA, un método de aprendizaje por refuerzo que recompensa tanto el razonamiento consciente de seguridad como respuestas seguras para mitigar el problema.