SSP-Bench: A Hybrid Data Generation Framework for Safety, Security, and Privacy Evaluation

arXiv cs.CR · 23 sept, 06:00

SSP-Bench es un marco dinámico de evaluación para probar modelos de lenguaje en seguridad, privacidad y safety, generando instancias bajo demanda en lugar de usar conjuntos de datos estáticos fijos. El estudio revela que los benchmarks estáticos fallan significativamente en capturar el comportamiento real de los modelos, con correlaciones cercanas a cero en rankings de seguridad y acoplamiento excesivo entre safety y refusal, lo que demuestra que la evaluación estática puede malrepresentar el comportamiento de los modelos.