The Sharp Directions Are Against You: Curvature Analysis of Activation Steering

arXiv cs.AI · 14 oct, 06:00

Investigadores analizan la geometría de los vectores de activation steering, una técnica de control de comportamiento en modelos de lenguaje. Descubren que ciertos componentes del vector ("sharp directions") causan comportamientos erráticos e impredecibles, llegando a invertir la intención del control en todos los casos probados. Proponen un método simple de eliminación de estas direcciones afiladas que mejora significativamente la efectividad del steering.