Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

Hugging Face Blog · 1 oct, 17:01

Allen AI presenta Olmo-core 3, una actualización de su infraestructura abierta para entrenar modelos de lenguaje grandes con arquitectura de mezcla de expertos (MoE). El nuevo sistema escala el entrenamiento de MoE hasta el rango de billones de parámetros manteniendo eficiencia computacional, permitiendo que modelos con más componentes especializados procesen textos sin activar todas sus capas. Olmo-core 3 logra 2,7× mayor rendimiento que la implementación anterior y reduce significativamente memoria y consumo energético en el entrenamiento.