Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training

arXiv cs.AI · 30 sept, 06:00

Un estudio de investigación en arXiv examina la relación entre la simplicidad representacional de modelos de lenguaje y el tamaño de sus circuitos causales. Mediante entrenamiento adversarial controlado sobre GPT-2 Small, los autores prueban si la descomposibilidad de autocodificadores dispersos predice realmente circuitos más pequeños y tratables.