Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

Hugging Face Blog · 16 oct, 03:44

NVIDIA e IIT Madras lanzan Nemotron-pretraining-Indic-v1, un corpus de 2,8 billones de tokens en 22 idiomas indios, junto con una canalización abierta de generación de datos sintéticos. El recurso amplía significativamente los datos de entrenamiento disponibles para modelos de lenguaje en idiomas hablados por casi 1.200 millones de personas, abordando la escasez histórica de datos que ha retrasado la tecnología de lenguaje natural en India.