MLCommons Jailbreak Benchmark v1.0

arXiv cs.AI · 5 oct, 06:00

MLCommons publica el Jailbreak Benchmark v1.0, una metodología para evaluar la robustez de los modelos de lenguaje frente a ataques de jailbreak de un único turno. El benchmark evalúa ocho sistemas de peso abierto usando 264 prompts semilla en once categorías de peligro, encontrando que la tasa de respuestas inseguras aumenta del 11,08% en condiciones de línea base al 18,65% bajo ataques de jailbreak.