Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models

arXiv cs.AI · 16 oct, 06:00

Investigadores proponen CiMEO, un framework para aprendizaje continuo en LLMs que identifica subredes funcionales especializadas dentro del modelo mediante análisis de gradientes, permitiendo actualizaciones dirigidas que mitigan el olvido catastrófico mientras se mantiene eficiencia de recursos.