SIGMA: Self-Improving Alignment Generalization from a Model Spec

arXiv cs.AI · 7 oct, 06:00

SIGMA es un método que permite a los modelos de lenguaje mejorar su propia alineación y seguridad sin necesidad de supervisión externa. Los investigadores demuestran que el modelo puede generar escenarios de dilemas éticos y entrenarse a sí mismo con refuerzo para reducir comportamientos peligrosos, especialmente en entornos multi-turno y agentes autónomos.