Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution

arXiv cs.CR · 8 oct, 06:00

Investigadores demuestran que imágenes adversariales pueden secuestrar agentes web basados en modelos de visión-lenguaje, haciendo que ejecuten acciones no deseadas en navegadores. El ataque, llamado WebMirage, logra una tasa de éxito del 91,9% manipulando cómo los agentes procesan y actúan sobre elementos visuales de páginas web.