Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures

arXiv cs.AI · 25 sept, 06:00

Se presenta RLCDAlignBench, un conjunto de pruebas para evaluar Jev, un modelo entrenado con aprendizaje por refuerzo para detectar fallos de alineación en modelos de lenguaje desplegados. La investigación propone detectar diez tipos de fallos de alineación (jailbreaks, prompt injection, alucinaciones, violaciones de privacidad, sesgo social, entre otros) mediante un único llamada con probabilidades calibradas, logrando una mediana AUROC de 0,886 sin ajuste previo.