Refusals That Bend: Measuring and Predicting Task Malleability in Embodied VLM Planners

arXiv cs.CR · 1 oct, 06:00

Investigadores descubren que los modelos de visión-lenguaje (VLM) embodied usados como planificadores de robots pueden ser desviados de sus restricciones de seguridad simplemente añadiendo objetos cotidianos al entorno, sin necesidad de ataques sofisticados a prompts o píxeles. El 20,2 % de 846 tareas rechazadas inicialmente pueden convertirse en compliance mediante uno o más objetos, y la vulnerabilidad depende de cuán conspicua sea la amenaza en la instrucción.