SameFact: The Same Safety Facts Lead to Different Responses Across Interfaces

arXiv cs.CR · 30 sept, 06:00

SameFact es un benchmark que prueba si los modelos de lenguaje responden de forma consistente a hechos de seguridad cuando se les presenta en diferentes interfaces: juicios explícitos de seguridad, admission de candidatos y selección de acciones abiertas. El estudio muestra que seis modelos diferentes tienen menores sensibilidades bajo selección abierta de acciones que bajo juicio explícito, lo que sugiere que la interfaz de respuesta influye en las mediciones de seguridad.