Jailbreaks for Black-Box Uncertainty Quantification in Large Reasoning Models

arXiv cs.AI · 29 sept, 06:00

Investigadores demuestran que los modelos de razonamiento grande (LRM) sufren sobreconfianza sistemática tras su alineamiento, limitando la cuantificación de incertidumbre en entornos de producción sin acceso a logits. Presentan J4U (Jailbreak for Uncertainty), una técnica derivada de jailbreaks que mejora significativamente la calibración y la fiabilidad de estos modelos al relajar las restricciones de alineamiento.