模型与研究 · 深度报道

百度发布ERNIE 5.5 Flash Base权重:2800亿参数基座能做什么,距离成品助手还有多远

百度发布 ERNIE-5.5-Flash-Base 权重(总参数约2800亿、每词元激活约140亿),为开发者提供预训练检查点以便后续微调与适配,官方称后训练的面向助手版本将另行发布。公告强调长上下文与稀疏混合专家等效率设计,但实际部署、百万词元利用和商业许可仍有硬件与合规门槛,需要后续验证。

AIFluxNews AIFlux 编辑2026 年 11 月 6 日阅读约 5 分钟
百度发布ERNIE 5.5 Flash Base权重:2800亿参数基座能做什么,距离成品助手还有多远

百度发布 ERNIE-5.5-Flash-Base 权重(总参数约2800亿、每词元激活约140亿),为开发者提供预训练检查点以便后续微调与适配,官方称后训练的面向助手版本将另行发布。公告强调长上下文与稀疏混合专家等效率设计,但实际部署、百万词元利用和商业许可仍有硬件与合规门槛,需要后续验证。

百度于2026年11月5日发布 ERNIE-5.5-Flash-Base 权重,将一个总参数2800亿、每个词元激活140亿参数的纯文本语言模型交给开发者继续训练。与面向用户的聊天助手不同,这次公开的是预训练结束时的检查点,尚未经过中期训练或后训练;百度在技术公告中表示,后训练版本 ERNIE 5.5 Flash 将随后推出,未在这份公告中给出具体日期。

这一区别决定了此次发布的主要受众:它不是让普通用户换一个聊天入口,而是为领域适配、指令微调和强化学习研究提供共同起点。开发团队可以省去从零开展大规模预训练的环节,但仍须自行完成面向目标任务的训练、评估和部署。

公开的是训练起点,而非成品助手

根据百度的官方模型卡,该模型采用稀疏混合专家架构(MoE),从零使用33.5万亿词元进行预训练。它的总参数规模与每次生成实际激活的参数规模并不相同:前者描述模型整体容量,后者反映每个词元参与计算的部分,不能把“激活140亿”理解为只需存放一个140亿参数模型。

百度将代码仓库级理解和长上下文能力列为预训练重点。其披露的代码数据不仅包括代码文本,还包含提交记录、问题讨论、拉取请求、代码审查、生成测试和经持续集成验证的修复;长上下文数据则结合自然长文档、加入语义相近干扰内容的长序列,以及检索和多跳问答合成数据。这些是厂商对训练设计的说明,并不等于模型已经获得可靠的自主软件工程能力。

基座模型与完成指令训练的助手也有接口上的区别。百度提供的部署说明使用文本续写接口,而非将其直接作为已经训练好的聊天、推理或工具调用产品。对企业而言,能下载权重只是接入流程的开始,不是业务行为、安全边界和输出质量已经得到保证。

百万词元上下文,不能写成百万词元预训练

此次发布的一个显著卖点是长上下文,但数字需要分开理解。百度称,预训练过程中上下文逐步扩展至128K;微调和推理支持1M。模型卡给出的精确值分别为131,072和1,048,576个词元,并说明发布配置启用了后者。

这意味着“支持百万词元输入”与“在百万词元长度上完成预训练”不是同一件事。上下文容量也不等于模型可以准确利用其中每一处信息,实际使用仍须检验长文检索、跨段关联和目标任务表现。

为压低长序列成本,百度在43层网络中组合了两类注意力机制。37层使用高度压缩注意力(HCA),将每128个词元压缩为一个缓存条目,同时保留近期未压缩内容;另外6层采用多头潜在注意力与稀疏注意力,在保留逐词元访问路径的同时,选择高相关位置执行核心注意力计算。

这套设计不是让所有层以同样精度保存全部历史,而是在压缩表示和细粒度访问之间分配预算。百度称,其预训练对比支持这种组合的效果;但公告关于部分核心计算成本的描述,不应被扩大为整个百万词元请求的总成本保持不变。

效率改进不只发生在注意力层

模型还采用多路由器的潜在空间混合专家设计。每个 MoE 层包含512个路由专家,每个词元选择其中10个,另有一个共享专家。按照百度的解释,多路由器旨在减少单一路由判断失误对专家选择的影响;专家在较窄的潜在空间中运行,则用于减少计算和通信负担。

另一项设计 ECHO 复用主干网络的最后一层预测后续词元,而不是另接独立的多词元预测模块。这样,预测未来内容的训练信号可以直接作用于生成下一个词元的参数;同一层也能在推理时充当推测解码的草稿模型。

ECHO 并非11月5日才首次披露。相关论文的首次提交日期为2026年10月17日。此次新进展是百度在所发布基座中采用这一方法,并称模型以单步 ECHO 进行预训练。论文的机制实验与这次完整模型的实际部署效果应分别看待,不能把方法层面的收益直接当作所有应用的加速承诺。

评测成绩亮眼,但不是全面领先的独立结论

百度将 ERNIE-5.5-Flash-Base 与 DeepSeek-V4-Flash-Base、Hy3-preview-Base 和 MiMo-V2.5-Base 放在同一评测管线中比较,称四者使用相同提示、少样本示例,并在自由回答题中使用同一个大模型裁判。

模型卡报告,ERNIE 在5样本设置的 MMLU 上得分93.3,在1样本设置的 HumanEval+ 上取得82.3的 Pass@1。这些成绩提供了观察基座能力的线索,但都来自百度披露的评测,本报道未进行独立复测。

同一张表也显示优势并不覆盖全部项目。例如,ChineseSimpleQA 上 ERNIE 得分73.0,低于 DeepSeek 的75.3;FullStackBench 上 ERNIE 为54.6,低于 Hy3 的56.7;InfiniteBench 上 ERNIE 为46.5,低于 DeepSeek 的48.0。因而,更准确的表述是它在多项基座评测中表现较强,而不是已经全面超过同类模型。

这些对比的对象还是基座检查点,而非各家完成后训练的聊天产品。考试、代码或长上下文基准的分数,也不能直接回答企业最关心的可靠性、工具调用成功率或真实业务成本。

权重可得,硬件和许可仍有门槛

百度提供 FP8 和BF16 两种权重版本,并给出 SGLang 与 vLLM 的部署路径。但稀疏激活并未消除存储全部权重的负担。百度的vLLM-ERNIE 仓库估计,FP8 权重约280GB,BF16 约560GB;运行时还需为缓存和其他开销留出空间。

长上下文尤其依赖具体硬件与配置。该仓库提示,百万词元预填充还需要额外临时显存,列出的80GB显存 GPU 部署配置并不能容纳1M上下文。因此,模型“支持1M”不是任何推荐部署组合都能直接达到的默认运行状态。本报道未下载完整权重或运行推理,不对吞吐、显存占用和生产稳定性作实测背书。

开放权重同样不意味着无条件开放商用。模型适用百度自定义的ERNIE 5.5 Flash Base Model License Agreement v1.0,而非把推理插件的 Apache 2.0 许可一并套用于模型。当前可读许可主文标注发布日期为11月5日,使用政策附件却标注11月6日修订;不能仅凭这份动态文件倒推发布时的全部条款。计划采用的团队应固定所取得模型及许可的具体版本,单独核对使用范围、商业授权和下游分发要求。

此次发布的实质,是让开发者获得一个可以继续塑造的预训练基座,同时公开其效率取舍和评测结果。它能否成为有效的领域模型或智能体底座,仍取决于后续训练、任务级验证以及运行成本。至于面向聊天、推理与工具调用的后训练版本,应等待其实际发布后再作判断。

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。