Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM

arXiv cs.AI · 5 oct, 06:00

Investigadores demuestran que la frecuencia de activación no es un buen indicador para identificar expertos críticos en seguridad en modelos MoE (Mixture-of-Experts). Proponen en su lugar usar la sensibilidad del gradiente del router, que mide la influencia real de cada experto en la pérdida de seguridad: suprimiendo un pequeño conjunto de expertos identificados por este método, logran debilitar significativamente el rechazo de solicitudes maliciosas sin reentrenamiento.