Scalable Weak-to-Strong Verifier Hardening for Agent Environments

arXiv cs.CR · 14 oct, 06:00

Un equipo de investigación presenta un método automático para reforzar verificadores en entornos de agentes LLM contra ataques de reward hacking. El enfoque usa un bucle iterativo de hacker-fixer para detectar y reparar vulnerabilidades en verificadores programáticos que de otro modo permitirían que agentes engañosos obtengan crédito sin completar tareas reales, causando desalineación en el entrenamiento.