英伟达与 AI4Bharat 发布面向印度语言的大规模预训练资源：约 2.8 万亿令牌的 Nemotron-pretraining-Indic-v1 语料库及开放的 GPU 加速数据生成流水线，覆盖 22 种印度宪法语言并公开翻译与质量控制流程。该资源已用于 Nemotron 3.5 Super VL 的持续预训练并在若干印度语言基准上带来阶段性提升，但语料完整开放与逐语种效果仍需进一步验证。
英伟达与印度理工学院马德拉斯分校（IIT Madras）旗下的 AI4Bharat 实验室公布了一套面向印度语言大模型训练的新资源：约 2.8 万亿个令牌的 Nemotron-pretraining-Indic-v1 语料库，以及用于生成这些数据的开放、GPU 加速流水线。
这项工作试图回应印度语言人工智能长期面临的数据短缺问题。英伟达和 AI4Bharat 在 Hugging Face 的技术文章中说，这套语料覆盖印度宪法列出的 22 种语言，涉及印度约 97% 的人口，按 2011 年人口普查计算接近 12 亿人。不过，数据集本身在文章发布时仍被描述为“即将发布”，因此目前应将其视为已公布、待完整开放的资源，而不是已经可以不受限制下载的成熟数据集。
规模之外，重点在于把生成方法一并开放
这套语料库的总量由约 2,601.0 亿个原生文字脚本令牌和 2,246 亿个罗马化文字令牌组成。相关统计采用 Gemma-4 的分词器，因此这里的令牌数量是语料库存量，不应直接等同于某一次模型训练实际消耗的训练令牌预算。
22 种语言形成了 34 个语言—文字脚本组合。孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语和乌尔都语同时包含原生文字与罗马化文字；阿萨姆语、博多语、多格拉语、克什米尔语、贡根语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语则提供原生文字数据。
文章特别强调，罗马化文字并不是英文，而是用拉丁字母书写的印度语言。对于同一种语言，原生脚本和罗马化文本可能表达相同的底层内容，因此在构建训练混合数据时，需要避免把不同脚本的记录简单当成互不相关的独立信息。
英伟达表示，这套流程从 15 个 Nemotron-CC-v2 子集中的英文材料开始，覆盖网页文本、问答、数学、代码及其他专业内容。流程使用 NVIDIA 的开源 NeMo Data Designer 进行文档级翻译、质量评估和定向修复，并保留源文档标识，使开发者能够追溯每条输出的来源。
对于其中 12 种语言，团队使用 Gemma-4-31B-it 对完整文档进行翻译，再根据含义、流畅度、术语、风格和格式等维度评估输出。评分至少达到 75 分的结果才会被保留；这里的 75 分是质量评估量表上的分数，并不是 75% 的翻译准确率。低于门槛的文本会根据评估反馈进行修复，然后重新评估。
这一路线还把部分合格的原生脚本翻译结果转换为罗马化文本，并与原生脚本输入进行比对。团队称，与直接从英文生成罗马化文本相比，先完成翻译、再进行文字脚本转换，在初步人工比较中产生的幻觉式增添和残留英文更少。
另外 10 种语言采用了不同流程，以应对长文档质量和文字脚本稳定性问题。翻译环节使用由 IIT Madras 孵化的非营利机构 Bodhan AI 开发的 Indic Translate。桑塔利语的长文档使用重叠窗口翻译后再重建，曼尼普尔语则先译为孟加拉文字脚本，再转换为其原生的 Meitei Mayek 脚本。
语料库如何影响 Nemotron 3.5 Super VL
英伟达说，Nemotron 3.5 Super VL 的持续预训练阶段使用了 1000 亿个训练令牌，其中 100 亿个来自这套语料库的 12 种语言子集和自然产生的印度语言文本，占该阶段预算的 10%。其余 90% 维持此前训练混合数据的相对比例。
根据文章引用的模型技术报告，在印度语言知识和推理的五项基准测试——MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K——持续预训练后的分数均有所提高，增幅介于 4.98 至 9.82 个百分点之间。不过，这一比较对应的是一个同时使用合成数据和自然文本的训练阶段，并不能单独证明这套合成语料本身贡献了多少提升。GSM8K 的奥里亚语评估还受到服务上下文长度限制，未被纳入相关结果。
在更广泛的模型比较中，Nemotron 3.5 Super VL 在文章展示的六项任务基准中的五项高于上一代 Nemotron 3 Super，覆盖知识、推理、数学、代码和翻译；但 IFEval 1.5 的指令遵循分数下降了 2.04 个百分点。文章同时引用了 IndiVibe 的语言质量结果，但指出其中的偏好分数是初步结果，并不是直接的两两胜率。
这与英伟达近期将 Nemotron 3.5 Super VL 推向开放模型和本地智能体场景的动作相互衔接。此前的 Nemotron 3.5 Super VL 报道已经把重点放在模型规模、工具调用和不同硬件内存预算之间的关系上；此次 Indic 语料发布则补充了另一个关键层面：模型能否在不同语言和文字脚本中获得足够、可追溯并且可复用的训练材料。
对低资源语言模型意味着什么
印度语言技术发展的核心瓶颈并不只是模型架构。AI4Bharat 负责人 Mitesh Khapra 在文章中把问题概括为：“我们没有足够的印度语言数据。”这一判断也解释了为什么此次发布没有只提供一个静态数据集，而是同时开放提示词、语言模型工作流、质量检查和修复流程。
这种做法可能让其他团队把自己的英文资料或专业文档接入同一套流程，再根据目标语言、脚本和质量标准重新生成数据。对于数学、代码和问答材料，文档级处理还有一个实际意义：翻译系统需要尽量保留公式、表格、代码、网址以及跨段落的上下文，而不是只追求逐句转换。
AI4Bharat 此前发布的 Sangraha 语料库包含覆盖 22 种印度语言的约 2510 亿个预训练令牌，是该领域开放资源的重要基础。新的 Nemotron 语料库在规模上明显扩大，但两者并非简单替代关系：自然产生的印度语言文本仍然承担着本地知识、文化语境和真实表达方式的作用，翻译生成的文本无法自动填补这些缺口。
英伟达和 AI4Bharat 也承认，当前的质量控制主要由自动评估完成，只辅以覆盖范围有限的人工抽样检查。源标识检查可以排除处理重复，但不能完成语义去重；保留下来的文本仍可能包含错误，另外 10 种语言的流程还需要更广泛的母语者验证。换言之，开放流水线提高了可重复性，却没有消除数据质量、版权来源、文化代表性和评测偏差等问题。
从数据开放到可验证的语言能力
这项工作的下一步，不只是让语料库能够被下载，而是要证明不同语言的模型能力确实得到改善。为此，AI4Bharat 正与英伟达开发 Indic-LLM-Eval-Suite，用于评估印度语言模型的任务能力和语言质量。新的基准体系对于识别“翻译得通”与“真正理解本地语言表达”之间的差别尤其重要。
目前已披露的结果主要说明，合成数据与自然文本结合后，Nemotron 3.5 Super VL 在若干印度语言基准上取得了阶段性提升；它们还不足以证明 22 种语言都获得了同等程度的改善。完整语料发布后，开发者还需要按语言、文字脚本和数据来源分别报告结果，并检查英文能力是否受到影响。
如果这套资源按计划开放，它的意义将不仅是增加一个更大的训练数据仓库，也在于把低资源语言模型开发中通常不透明的部分——数据从哪里来、如何翻译、怎样筛选、哪些内容被修复——变成其他团队能够复用和审查的流程。对于印度语言以及其他互联网文本相对稀缺的语言而言，这可能比单纯增加一个模型参数规模更重要。
来源：