英伟达发布 Nemotron 3.5 Bolt E4B 4GB，定位本地对话与工具调用场景，强调在有限内存下的持续对话与多轮工具交互能力。发布材料中的“4GB”和“平均提升40%”都有前提与限定，实际表现取决于量化、架构、运行环境和系统设计。
英伟达于2026年10月23日发布 Nemotron 3.5 Bolt E4B 4GB，将其开放模型产品线进一步推向个人电脑、机器人和边缘设备。与争夺通用能力排行榜的大模型不同，这款模型强调的是：在有限内存中持续对话，理解应用提供的状态，并在适当时机调用工具完成操作。
根据英伟达的发布说明，模型基于 Google 的 Gemma 4 E4B，经 Nemotron 后训练，面向本地语音与设备助手、游戏互动角色，以及机器人和物联网接口。它支持多轮工具调用、可开关的推理模式、偏向简短回答的对话模式，以及64K令牌上下文。
不过，产品名称中的“4GB”并不意味着任何设备、任何上下文长度下都只需4GB内存；发布材料所称的平均质量提升约40%，也来自英伟达自己的评测，而非独立复测。理解这两项限定，是判断这次发布实际价值的关键。
从发布预告走向可获取模型
此次发布是此前产品预告的后续进展。AIFlux此前在关于 Nemotron 3.5 Super VL 与 Bolt 系列的报道中提到，E4B版本预计于10月23日推出，当时尚不可用。这次官方模型卡则将10月23日列为正式发布日，并提供量化模型及部署示例。
英伟达官方模型卡将该模型标为80亿总参数、40亿有效参数，发布版本采用 Q4_K_M 量化格式，另有 BF16 版本和用于推测解码的 DFlash 草稿模型。
这里的“有效参数”不宜直接理解为混合专家模型中每次激活的专家参数。Google 对 Gemma 4 的架构说明指出，E系列采用逐层嵌入设计，部分较大的参数表主要用于快速查找，因此有效参数与总参数采用不同口径。比较模型规模时，应同时看架构、量化方式和实际运行资源，而不能只看名称中的“4B”。
模型卡标注其许可为 OpenMDW-1.1，可用于商业及非商业用途；实际使用仍须遵守对应许可条件。
它要解决的不只是“回答问题”
英伟达为这款模型描述的典型任务，是把对话和操作交织起来。例如，游戏角色不仅要保持人物口吻，还要检查玩家支付是否正确、查询合成配方、收集材料，并通过工具交付物品。设备助手则需要根据当前应用状态决定执行操作、追问条件，还是暂不行动。
这些任务与一次性生成文章或代码不同。模型需要记住此前的约定，理解工具返回的结果，并在环境变化后调整下一步。64K上下文可以用于容纳对话历史、工具定义、检索信息和应用状态，但支持较长输入并不等于始终能够可靠利用其中的全部信息。
为适应交互场景，Bolt E4B提供两类控制：推理模式可启用或关闭，也可设置推理预算；对话模式则鼓励更简短、较少排版的回答，便于接入语音交互。两者可以与工具调用配合使用，让开发者在回答质量、输出长度和等待时间之间进行调整。
但“面向语音助手和机器人”不代表模型本身原生处理声音或画面。Bolt E4B模型卡明确列出的输入和输出均为文本。官方机器人演示中，实时视觉理解由另一个模型 Cosmos 3 Edge 提供，Bolt E4B负责利用相关信息组织回复并调用动作工具。完整应用仍需要视觉、语音或设备控制组件协同工作，不能把基础模型家族的多模态能力直接套用到这一发布版本上。
“平均提升40%”不能替代逐项比较
英伟达称，在其选取的一组对话智能体基准上，Bolt E4B相较此前的 Nemotron 3 Nano 4B，平均得分提高约40%。评测覆盖多轮对话、角色一致性、工具调用、指令遵循、上下文理解，以及依据工具和资料作答等能力。
这不是“所有任务都提高40%”。官方表格显示，不同项目的表现差异明显：在 BF16 精度下，Bolt E4B的 MultiChallenge 得分为53.1，高于 Nano 4B的35.3；但在64K上下文的 RULER 测试中，Bolt E4B为87.0，低于 Nano 4B的91.5。同一表中，Qwen 3.5 4B在 Tau2-Bench 等部分工具任务上的得分也高于 Bolt E4B。
这些结果更适合说明后训练改变了模型的能力分布，而不是证明它全面领先。开发者若主要关心长文本检索、客服流程或游戏角色，需要分别检查与自身任务接近的项目。
评测精度同样重要。发布文章中的主要能力表采用 BF16，模型卡另外列出了 Q4_K_M 量化版本的分数，两者不应混为一谈。英伟达还说明，部分自建评测将在后续发布，因此外部研究者当下未必能够完整复现全部比较。
公司另称，在启用推理的部分比较中，模型输出令牌数最多可减少约80%。这可能减少生成阶段的计算工作，但不能直接解读为端到端响应提速80%：读取输入、等待工具执行，以及语音识别和语音合成，都可能占用时间。本报道未下载权重或运行独立测试，上述能力与性能数字均为厂商披露。
“4GB”是目标工作负载定位，不是统一上限
官方将该模型描述为可在目标工作负载中以约4GB的资源预算运行，但其公开性能表本身已经展示了不同配置下的差别。
在单会话、Q4_K_M量化、llama.cpp CUDA推理环境中，RTX 5070处理约3K输入令牌、生成50个令牌且没有缓存上下文时，报告显存占用为3.5GB，首令牌等待时间为548毫秒。采用32K缓存上下文、再输入2K并生成256个令牌时，占用升至4.3GB，首令牌等待时间为1238毫秒。
在 Jetson Orin Nano 8GB上，对应两种配置的资源占用为4.2GB和4.9GB，首令牌等待时间分别为5785毫秒和6259毫秒。Jetson AGX Orin的其中一项配置达到5.0GB。这些结果表明，同一个模型在桌面显卡和嵌入式设备上，可能呈现明显不同的交互体验。
这些测试也不是对完整64K上下文下内存占用的统一保证。上下文缓存、推理软件和运行配置都会影响资源需求；若再加入视觉模型、语音组件或其他应用，整套系统所需资源还会增加。因此，“约4GB可运行”与“只需一台4GB内存设备就能运行完整助手”是两回事。
小模型能否成为可靠助手，仍取决于系统设计
英伟达此次后训练使用了基于可验证奖励的强化学习和人类反馈强化学习，重点覆盖工具调用、指令遵循和对话等环境。公司还在训练中加入长度惩罚，控制推理过程和最终回答不断变长的问题，随后将选定的 BF16 模型量化为 Q4_K_M。
这解释了产品为何同时强调工具使用和简洁表达：对本地交互助手而言，回答冗长不仅影响体验，也会增加生成时间。然而，缩短推理预算同样需要验证。官方模型卡提醒，过紧的预算可能截断思考过程，开发者仍须评估具体任务的输出质量。
本地运行可以减少某些任务对云端推理服务的依赖，但并不自动保证数据不会离开设备。只要助手调用外部API、检索服务或联网工具，信息流向仍由应用设计决定。同样，模型能够生成工具调用，不代表它应当获得不受限制的文件、账户或机器人控制权限。
这次发布的实质，是为有限资源设备增加一个可获取、可配置的对话与工具调用模型选项，而不是证明小模型已经能够替代所有云端智能体。它能否成为可靠产品，最终仍要看具体硬件上的等待时间、连续任务成功率、中文交互表现，以及应用能否在错误发生前设置清晰的权限和确认边界。