CAVEAT: Towards Robust Computer-Use Agents in Incentive-Misaligned Environments

arXiv cs.AI · 24 sept, 06:00

Investigadores presentan CAVEAT, un conjunto de pruebas que evalúa la robustez de agentes de uso de ordenador cuando operan en entornos con incentivos desalineados con los del usuario. En mercados en línea, los agentes solo logran comprar el producto óptimo para el usuario en un 17,3% de los casos cuando se activan mecanismos de manipulación, frente al 78,6% sin ellos. Los autores proponen CAVEAT-Harness, una técnica de mitigación que mejora el rendimiento en un 55%.