STR: Supervised Transcoder Replacement for Reducing Steering Side Effects

arXiv cs.AI · 29 sept, 06:00

Investigadores presentan STR (Supervised Transcoder Replacement), una técnica para reducir efectos secundarios no deseados al aplicar steering (control dirigido) en modelos de lenguaje como Gemma y Llama. El método entrena un reemplazo para el cálculo de la capa MLP que preserva comportamientos útiles mientras mantiene el control del objetivo, demostrando una reducción significativa en tasas de éxito de ataques en evaluaciones fuera de distribución.