Can You Trust Your Preference Models? Stackelberg Games for Alignment

arXiv cs.AI · 14 oct, 06:00

Investigadores proponen un enfoque basado en juegos de Stackelberg para detectar errores en modelos de preferencias usados en el alineamiento de modelos de lenguaje. El método entrena políticas para identificar comparaciones donde evaluadores imperfectos pueden invertir sus preferencias subyacentes, usando desacuerdo entre múltiples modelos como proxy de error de predicción.