DPOison-VL: Clean Preference Poisoning in Vision-Language Direct Preference Optimization

arXiv cs.CR · 14 oct, 06:00

Investigadores presentan DPOison-VL, un ataque de envenenamiento de preferencias contra modelos de visión-lenguaje entrenados con Direct Preference Optimization (DPO). El ataque manipula el alineamiento del modelo mediante perturbaciones imperceptibles en imágenes de entrenamiento, dejando intactos los prompts, respuestas y anotaciones, y logra tasas de éxito de hasta el 98% con solo el 2% de datos envenenados. El trabajo revela una vulnerabilidad crítica en la cadena de suministro de datos de entrenamiento de VLMs.