Backdoor Containment via Expert Quarantine and Shutdown in LLMs

arXiv cs.AI · 2 oct, 06:00

Investigadores proponen Quarantined Expert Shutdown (QES), una estrategia de defensa contra backdoors en LLMs que permite que el modelo aprenda el comportamiento malicioso durante el entrenamiento pero lo canaliza hacia un componente especializado aislado que se puede desactivar en despliegue. El método, basado en arquitecturas de expertos (MoE) con ramas LoRA y routers especializados, reduce la tasa de éxito del ataque de 100% a 0-10% manteniendo la utilidad del modelo.