Signatures of semantic search in the activations of large language models

arXiv cs.AI · 29 sept, 06:00

Un estudio de interpretabilidad mecanicista en modelos de lenguaje grandes investiga cómo estos sistemas organizan la búsqueda semántica internamente durante tareas de fluidez semántica. Los investigadores utilizan técnicas como la lente de Jacobiano para evidenciar que los LLM mantienen patrones de exploración y explotación análogos a los procesos cognitivos humanos, con representaciones neurales distintas para cambios de concepto.