Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure

arXiv cs.AI · 24 sept, 06:00

Investigadores demuestran que los Large Reasoning Models (LRMs) pueden ser manipulados sistemáticamente mediante ataques SRCF que prependen conversaciones de pocos ejemplos con razonamientos explícitos, logrando generaciones inseguras en consultas dañinas y rechazos injustificados en consultas benignas. El ataque opera sin acceso a parámetros ni gradientes del modelo, explotando una falla de generalización adversarial que causa desviación de representaciones. Los autores proponen ARCF, una defensa post-entrenamiento que expone modelos a contextos conversacionales adversariales mientras refuerza objetivos alineados, mejorando seguridad y utilidad sin degradar funcionalidad.