Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
Hugging Face Blog · 15 oct, 02:00
Meta lanza Muse Spark Open, un modelo multimodal de código abierto con 816 mil millones de parámetros totales y arquitectura mixture-of-experts. El modelo está optimizado para tareas de programación agentica, aceptando texto, imágenes, audio y vídeo como entrada, y puede leer bases de código, escribir y depurar código, y llamar herramientas. Con un contexto de 1 millón de tokens y capacidad para ejecutarse en múltiples dispositivos de IA, representa uno de los modelos abiertos más capaces disponibles.
Muse Spark Open continúa la serie de modelos Muse de Meta iniciada con Muse Glimmer en agosto. El modelo utiliza 256 expertos por capa MoE, seleccionando 8 expertos por token, lo que resulta en ~42B parámetros activos por token a pesar del tamaño total de 816B. La arquitectura incluye un encodificador de percepciones con 1.8B parámetros para procesar imágenes en patches de 14×14, un encodificador de audio que emite un token cada 80 ms (12.5 tokens por segundo), y soporte para vídeo a través del mismo encodificador de imágenes.
El modelo dispone de checkspoints en formato BF16 (~1.5 TB en safetensors) y NVFP4 de 4 bits optimizado para GPUs NVIDIA Blackwell. En transformers, el checkpoint BF16 requiere 4 nodos de 8 GPUs H200 con paralelismo de tensores (TP=32), mientras que NVFP4 funciona en un nodo B200 único. Meta proporciona recetas de implementación para llama.cpp, vLLM y SGLang, facilitando el despliegue de este modelo frontier de código abierto.
Puntos clave
- 816B parámetros totales, 42B activos por token; 256 expertos con 8 seleccionados por token
- Soporta texto, imágenes, audio y vídeo en un contexto de 1 millón de tokens
- Optimizado para programación agentica: lectura de bases de código, escritura, depuración y llamadas a herramientas
- BF16 checkpoint de ~1.5 TB requiere 4 nodos de 8 H200; NVFP4 funciona en nodo B200 único
- Encodificador de percepciones de 1.8B parámetros; encodificador de audio emite tokens a 12.5 por segundo
Figuras de la fuente
