The Geometry of Harmfulness in Multi-Turn Attacks

arXiv cs.CR · 1 oct, 06:00

Un estudio analiza cómo evolucionan las representaciones internas de harmfulness y refusal en modelos de lenguaje durante ataques multi-turn que pretenden eludir mecanismos de seguridad. Los investigadores descubrieron que diferentes frameworks de ataque (Crescendo, ActorAttack, X-Teaming) recorren direcciones geométricas distintas pero logran resultados comparables, y que las representaciones de harmfulness se vuelven cada vez más separables linealmente a lo largo de los turnos de conversación.