Where Do LLMs Decide to Break the Rules? Mechanistic Localization of Prompt Injection Compliance

arXiv cs.CR · 30 sept, 06:00

Un equipo de investigación utiliza técnicas de edición de activaciones para localizar dónde dentro de las redes neuronales de LLMs se toma la decisión de cumplir con ataques de inyección de prompts. Descubren que aunque la información del ataque es decodificable desde las primeras capas, el control causal sobre el comportamiento reside en un cuello de botella en el tercio final de la red, donde patching invierte la conformidad en el 77–92% de los casos.