The Uncontrolled Variable: Vision-Language Model Refusal Responds to Image Presence in Ways Risk Cannot Explain

arXiv cs.CR · 23 sept, 06:00

Investigadores descubren que modelos de lenguaje visual (VLM) alineados en seguridad rechaza solicitudes no solo por su contenido, sino también por la simple presencia de una imagen adjunta, independientemente de su contenido. El efecto es significativo: una lona en blanco puede cambiar los rechazos hasta decenas de puntos porcentuales, afectando principalmente a preguntas legítimas sobre privacidad y daño, sin que el modelo pueda ser controlado mediante instrucciones. Este comportamiento no correlaciona con el riesgo real y parece ser un artefacto heredado del entrenamiento que no protege efectivamente contra ataques.