Removing the NEEDLE in the Haystack: Backdoor Removal in LLMs via Weight Orthogonalisation

arXiv cs.CR · 2 oct, 06:00

Investigadores proponen NEEDLE, un método para eliminar backdoors implantados en modelos de lenguaje durante el entrenamiento sin necesidad de datos originales ni modelos de referencia. La técnica usa ortogonalización de pesos basada en vectores de activación para suprimir el comportamiento malicioso mientras preserva el rendimiento y la seguridad del modelo.