Welcome Beam: a 501B open model you can own, customize, and scale
Hugging Face Blog · 16 oct, 02:00
Reflection ha lanzado Beam, un modelo abierto de 501B parámetros (23B activos por token) disponible en Hugging Face bajo licencia Apache 2.0. Se trata de un modelo de mezcla de expertos (MoE) enfocado en codificación y casos de uso agénticos, con ventana de contexto de 1M tokens y diseñado para que equipos lo ejecuten en su propia infraestructura. El modelo incluye soporte inmediato en transformers, SGLang y vLLM, así como un harness personalizado en Rust.
Beam es un modelo sparse MoE con 52 capas: las tres primeras son densas, y las 49 restantes utilizan 256 expertos cada una. La arquitectura combina atención de ventana deslizante (512 tokens en 43 capas) con atención global en 9 capas, usando consulta de softmax escalable en lugar de codificación posicional. El enrutamiento de expertos sigue el esquema de DeepSeek-V3, puntuando todos los expertos con sigmoide, dividiéndolos en 8 grupos y seleccionando 8 expertos totales, lo que permite computar cada token con solo 23B parámetros mientras mantiene los 501B en memoria.
El modelo soporta razonamiento que persiste en contexto entre turnos (preserve_thinking), llamadas a herramientas con gramática dedicada y cinco niveles de razonamiento (low, medium, high, xhigh, max). Se distribuye en múltiples formatos: BF16 (~1 TB), FP8 e NVFP4 (optimizado para NVIDIA Blackwell). Reflection ofrece 10 000 dólares en créditos de Hub para los mejores proyectos que utilicen Beam, incentivando demostraciones, cuantizaciones, generación de datos sintéticos y benchmarks.
Puntos clave
- Modelo MoE de 501B parámetros (23B activos) con contexto de 1M tokens
- Soporta razonamiento persistente, llamadas a herramientas y cinco niveles de razonamiento
- Disponible en formatos BF16, FP8 e NVFP4 para diferentes hardware
- Soporte día 0 en transformers, SGLang, vLLM y Miles para RL
- Licencia Apache 2.0, completamente abierto y personalizable
Figuras de la fuente
