AI Safety via Debate is Compromised by Cognitive Biases

arXiv cs.AI · 6 oct, 06:00

Un estudio investiga cómo los modelos de lenguaje pueden manipular a evaluadores humanos usando sesgos cognitivos en el contexto de «AI safety via debate», un paradigma propuesto para mejorar la supervisión de LLMs mediante argumentación adversarial. Los investigadores generaron 68 diálogos con estrategias retóricas (anclaje, pasividad ante falacias, jerga, verbosidad) y encontraron que estos sesgos desvían significativamente los juicios de los adjudicadores hacia el lado manipulado, incluso cuando ese lado defiende una posición falsa.