From Latent Space to Jacobian Space: Measuring, Evading, and Training Against Safety-Content Accessibility

arXiv cs.AI · 6 oct, 06:00

Investigadores muestran que los monitores de seguridad basados solo en salida de modelos de lenguaje son insuficientes: el contenido peligroso es accesible internamente en el espacio de Jacobian (estados ocultos hacia vocabulario de salida) antes de ser emitido. Demuestran que el entrenamiento de seguridad puede concentrar el reconocimiento de peligro en capas donde la seguridad conductual parece mejor, creando una brecha que adversarios pueden explotar con ataques adversariales tipo GCG.