Safer Content or Firmer Refusals? A Hybrid Perturbation Defense for Alignment under Harmful Fine-tuning

arXiv cs.CR · 30 sept, 06:00

Un equipo de investigación propone VaccineBooster, una técnica de defensa durante el entrenamiento de alineación que combina perturbación de embeddings y atenuación de gradientes para proteger modelos de lenguaje contra el fine-tuning malicioso. El método demuestra un compromiso entre reducir contenido dañado explícito y preservar el comportamiento de rechazo del modelo cuando se expone a datos de entrenamiento envenenados.