Does the Unsafe Gradient Survive a Conversation? On the Fragility of Gradient-Based Jailbreak Detection in Multi-Turn Dialogue

arXiv cs.CR · 30 sept, 06:00

Investigadores evalúan la efectividad de detectores de jailbreak basados en gradientes (como GradSafe) en conversaciones multi-turno con modelos de lenguaje alineados con seguridad. Los resultados muestran una degradación significativa del rendimiento en diálogos realistas respecto a escenarios sintéticos, con tasas de falsos positivos superiores al 90% cuando el detector se calibra en datos sintéticos.