Opening LLM Judges: Recovering Preference Signals Beyond the Final Verdict

arXiv cs.AI · 29 sept, 06:00

Un estudio sobre jueces basados en LLM revela que sus veredictos son frecuentemente poco fiables debido a sesgos hacia características superficiales como la longitud o posición de las respuestas, aunque el modelo contiene internamente la información correcta. Mediante intervenciones causales y análisis de activaciones en 64 evaluadores, los investigadores muestran que sondas simples pueden recuperar estas señales ocultas con precisión significativamente superior, lo que tiene implicaciones para la evaluación y el aprendizaje de preferencias.