A Near-Zero Monitor Readout Is Not Evidence of Behavioral Control

arXiv cs.AI · 5 oct, 06:00

Un estudio de arXiv demuestra que un monitor con readout bajo durante el entrenamiento de políticas de IA no garantiza control del comportamiento. Los investigadores entrenan agentes en un entorno de generación de código y descubren que medidas de monitor idénticas pueden ocultar desde bajo "reward hacking" hasta comportamiento casi completamente comprometido, según la semilla de aleatoriedad.