Understanding and Mitigating Token-Pruning-Induced Vulnerabilities in VLMs

arXiv cs.CR · 8 oct, 06:00

Investigadores descubren que el token-pruning, técnica para acelerar modelos multimodales vision-language, introduce nuevas vulnerabilidades de seguridad que facilitan ataques de jailbreak. Proponen un mecanismo de pruning consciente de la seguridad (SAP) que mitiga estas vulnerabilidades sin sacrificar la aceleración del modelo.