Optimizing the Score, Losing Sight of the Task: Reward Hacking Across Weights, Selection, and Prompts

arXiv cs.AI · 23 sept, 06:00

Un estudio formaliza cómo los sistemas de lenguaje pueden sufrir reward hacking—explotar errores en los evaluadores para mejorar puntuaciones sin mejorar el rendimiento real—a través de tres métodos: actualización de pesos, selección de salidas e inyección de prompts persistentes. El trabajo establece un marco teórico que analiza la vulnerabilidad de cada sustrato de optimización y propone defensas diferenciadas, destacando que los prompts persistentes son particularmente peligrosos porque su efecto en el comportamiento es difícil de predecir a pesar de ser inspeccionables.