Stronger Judges Do Not See More: Deployment-Integrity Blindness in LLM Evaluation

arXiv cs.CR · 16 oct, 06:00

Un estudio de investigación revela que los evaluadores de LLM no pueden detectar si el modelo desplegado ha sido modificado o comprometido, siempre que los resultados en los casos de prueba sigan siendo los mismos. El trabajo presenta DIB-Bench, un benchmark que demuestra que evaluadores más potentes (como GPT-5-nano) aceptan más salidas manipuladas que evaluadores basados en reglas, y que modificaciones ocultas pueden producir comportamientos dañinos en entornos reales.