When Tools Silently Lie: Evaluating and Mitigating Blind Compliance in Tool-Augmented Data Agents

arXiv cs.AI · 30 sept, 06:00

Un estudio presenta ToxicBench, un benchmark para evaluar cómo los agentes de datos aumentados con herramientas manejan información corrupta o falsa proporcionada por sus herramientas. Los experimentos con GPT muestran que el envenenamiento de datos reduce el éxito de tareas entre un 26 y un 39 por ciento, y que los agentes pueden adoptar respuestas incorrectas incluso después de verificar la evidencia.