艾伦人工智能研究所（Ai2）开放了 Olmo-core 3，一套面向超大规模 MoE 的可扩展训练基础设施，公开代码、技术报告与演示，展示了在多层并行和低精度优化下的性能改进与工程挑战。该框架在测试中覆盖超过万亿参数配置，但强调这些是系统规模测评而非完整训练结果，目的是让研究者复现和改进大型 MoE 的训练路径。
美国艾伦人工智能研究所（Ai2）旗下团队于 2026 年 10 月 1 日在 Hugging Face 发布 Olmo-core 3：面向大型 MoE 的开放式、可扩展训练基础设施。这次更新的重点不是推出一个新的聊天模型，而是重做支撑下一代 Olmo 的训练系统：Ai2 称，新框架已在测试中扩展到超过 1 万亿个总参数，并试图在模型规模增长时控制专家路由、显存和 GPU 间通信带来的成本。
Olmo-core 3 的公开，回应的是开放模型生态长期存在的一项缺口：研究人员往往能够获得模型权重，却很难获得训练这些模型所需的完整系统。Ai2这次同时提供了技术报告、代码仓库和交互式训练演示，开放范围覆盖训练并行策略、路由优化、低精度计算以及相关实验结果。
MoE的效率优势，首先是一个系统工程问题
混合专家模型（Mixture of Experts，MoE）通过让每个输入只激活部分专家，扩大模型的总参数容量，同时控制每个 token 实际参与计算的参数量。理论上，这使模型可以拥有更多“专门化”的组件，却不必让每一次计算都运行完整模型。
但稀疏激活并不意味着系统成本自动消失。所有专家仍然需要存放在 GPU 集群的显存中，并在训练过程中持续更新。输入数据还必须被路由到正确的专家；当专家分散在不同 GPU 上时，数据传输和同步可能吞噬部分计算收益。模型越大，路由和通信越容易成为瓶颈。
Ai2给出的一个对比说明了这一点。在一项基准中，团队把专家数量从 8 个增加到 128 个，但每个 token 仍只选择 4 个专家，使每个 token 的活跃参数量大致维持在 32 亿。总参数容量则从 46 亿扩大到 470 亿，而训练吞吐量下降不到 5%。这组结果来自训练基础设施的性能测试，并不等同于一个已经完成训练、且能力得到验证的 470 亿参数模型。
从 FSDP 转向让专家常驻 GPU 的 DDP 架构
Olmo-core 3 的核心变化之一，是重新设计了 MoE 的分布式训练路径。Ai2此前的 MoE 实现主要使用全分片数据并行（FSDP），在每个小批次训练时收集和重新分片模型权重。新版本则转向以分布式数据并行（DDP）为基础的方案：专家常驻在 GPU 上，系统把相关数据发送给对应专家，从而减少反复收集权重的过程。
Ai2将其定位为面向大规模 MoE 的一体化训练栈。英伟达的 Megatron-Core 已经是训练大型 MoE 的成熟选择，而 Olmo-core 3 的目标，是把类似的能力纳入 Olmo 所使用的开放框架，使研究人员能够更直接地观察和修改训练过程。
在一次初步测试中，Ai2使用 8 张 NVIDIA B300 GPU 训练一个 470 亿参数的 MoE。新系统的吞吐量约为每张 GPU 每秒 52,000 个 token，早期实现则为 19,400 个 token，前者约为后者的 2.7 倍。这个比较是同一团队对新旧实现的工程测试，测试条件和硬件配置决定了结果的适用范围，不能直接推导出所有 GPU 集群都能获得相同幅度的提升。
三层并行策略共同承担规模扩张
Olmo-core 3把规模扩张拆成几个相互配合的层面。
首先是专家并行，把不同专家分散到不同 GPU，使单张 GPU 只需保存完整专家池的一部分。其次是流水线并行，把模型层切分到多组 GPU，降低每张卡需要长期保留的模型内容。第三是分布式优化器，将训练优化器状态分散保存，而不是让每张 GPU 都维护一份完整副本。
这些方法解决的是显存和训练状态如何分布的问题。与此同时，Olmo-core 3还针对数据路由和专家计算进行了优化，包括把路由后的数据直接放入专家输入缓冲区的行级专家并行、让路由元数据留在 GPU 上的 GPU 常驻路由，以及把许多较小专家计算合并执行的 grouped GEMM。
框架还支持 MXFP8 低精度格式。在四张 NVIDIA B300 GPU 的受控测试中，Ai2称，在系统中适合使用 MXFP8 的部分启用该格式后，端到端训练吞吐量比 BF16 基线高约 21%，峰值活跃显存则从 103 GiB 降至 95 GiB。收益主要来自前馈计算和专家之间的数据移动，而不只是注意力计算。
不过，低精度并非无条件的加速器。数据格式转换本身也有开销，减少传输的数据量是否能够转化为更高的端到端吞吐量，取决于具体硬件、算子和通信路径。Ai2强调，Olmo-core 3的优化需要作为一个整体来观察，而不能只看某一个算子的局部指标。
“万亿参数”测试不等于完成了一次万亿参数训练
Ai2称，Olmo-core 3在一组 NVIDIA B300 测试中覆盖了 1.2 万亿参数配置：该模型每个 token 激活约 583.6 亿个参数，使用 512 张 GPU，最高观测到的计算吞吐量为每张 GPU 858 TFLOP/s。
这一测试使用随机路由来观察系统性能，而不是评估一个经过完整训练的模型质量。团队还使用 DeepEP v2 进行了短容量测试，达到 2.38 万亿个总参数。Ai2明确表示，这项测试展示的是框架能够触及的规模，并不是一轮持续的完整训练运行。
这一区分很重要。总参数量代表模型可以容纳的能力容量，但训练成本、有效计算量、数据质量、路由均衡、训练稳定性和最终模型能力，不能仅由一个参数数字判断。对开放模型研究者而言，Olmo-core 3的价值更接近一套可以复现、修改和进一步验证的工程起点。
技术报告还记录了若干容易被单一性能数字掩盖的发现。例如，原本用于鼓励路由均衡的指标可能在实际工作负载变得更不均衡时仍然上升，Ai2将这一现象称为“token gerrymandering”；降低处理较少 token 的专家学习率，并未在所测试的模型家族中带来改善；不同输入数值可能在矩阵形状相同的情况下产生不同 GPU 计算时间；而把通信和计算放在不同 GPU 流上重叠，也不一定能提升端到端速度，部分测试甚至出现变慢。
开放训练基础设施的意义在哪里
Ai2的下一代 Olmo 将采用 MoE 架构。研究所表示，新模型的目标是成为能力更强的 Olmo，并使用更大的数据集和更长的上下文窗口。Olmo-core 3则被设计为支撑这一方向的底层系统，同时允许其他研究人员在不同硬件上训练自己的 MoE，调整路由、并行策略和精度设置。
这延续了 Olmo项目一贯的开放路线。Ai2过去发布的 OLMoE 不仅开放权重，也开放数据、代码、评测、日志和中间检查点。Olmo-core 3进一步把“如何训练”本身变成可检查的研究对象，而不只是把训练结束后的模型交给社区。
对读者而言，Olmo-core 3也说明，开放大模型的竞争正在从参数规模和榜单分数，延伸到训练基础设施的透明度。Ai2最近发布的 BenchMIRT 研究提醒研究人员，不应把一个平均评测分数当成完整能力描述；而在基础设施层面，Olmo-core 3所公开的实验条件和失败案例，也让“更快”不再只是一个脱离环境的宣传数字。
类似地，AIFlux此前关于 DeepSeek 开源 DeepSelect 稀疏注意力内核的报道，也显示模型效率越来越依赖底层内核、显存访问和分布式执行，而不只是架构图上的稀疏化设计。
Olmo-core 3能否让更多小型实验室真正训练超大规模 MoE，仍取决于 GPU 资源、网络互联、数据和工程团队等条件。开放代码降低了进入门槛，但没有消除训练万亿参数模型所需要的计算和能源成本。它目前最明确的贡献，是把这些系统性问题、取舍和实验路径公开出来，让社区能够在同一套基础上复测、质疑和继续改进。