DeepSeek 于 2026-10-20 在 GitHub 开源了 DeepInfer，一套面向大规模模型服务的高性能推理框架，支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU，并采用 Apache-2.0 许可证。项目公开了推理内核、并行与调度等关键运行时技术，旨在降低推理成本，但并未包含完整托管服务所需的缓存、Prefill/Decode 解耦与跨副本负载均衡等组件，性能需独立复测。
DeepSeek 于 2026 年 10 月 20 日在 GitHub 开源 DeepInfer，一套面向大规模模型服务的高性能推理框架。项目目前针对 DeepSeek-V4.1-Flash，支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU，并采用 Apache License 2.0。
这次发布的重点并不在于再推出一个模型，而在于公开模型上线之后最消耗计算资源的运行时技术。DeepSeek 表示，DeepInfer 是其大规模生产服务使用的推理框架，目标是帮助社区降低计算成本和能源消耗。不过，仓库同时明确说明，完整在线托管服务仍需要若干没有包含在本次发布中的系统组件。
开源的是推理核心，而不是完整托管平台
根据 DeepSeek 官方 GitHub 仓库的 README，DeepInfer 当前支持的模型只有 DeepSeek-V4.1-Flash。框架提供离线推理，以及面向大规模服务的若干核心能力，包括优化后的内核、模型和采样器运行时，注意力数据并行与平衡上下文并行，MoE 专家并行和专家负载均衡等。
项目还包含 DSpark 与基于置信度的验证调度、有界重放、异步调度、批次不变推理、确定性采样和结构化输出。它的异步调度器试图让 CPU 端的批处理调度与设备执行重叠，从而减少调度过程带来的额外开销。
这些组件对应的是推理服务中几个关键瓶颈：如何把请求分配给不同的模型专家，如何在长上下文和多请求并发时保持硬件利用率，以及如何在生成速度和结果稳定性之间取得平衡。对于运营大模型 API 的企业来说，推理框架的选择会直接影响每个请求需要占用多少 GPU 时间、内存和网络带宽。
不过，DeepInfer 并不是一个安装后就能替代云服务的完整服务器。DeepSeek 在仓库中列出，完整推理服务仍需要 KV Cache 系统、视觉编码器与 Prefill/Decode 解耦，以及跨数据并行副本的负载均衡。其中，Prefill 负责处理输入上下文，Decode 负责逐步生成输出；将两者分开部署，通常是长上下文和高并发服务优化的重要环节。
因此，“开源推理框架”与“完整托管服务开源”是两件不同的事情。开发者可以获得 DeepSeek 发布的核心运行时和示例，但仍然需要自行补齐服务编排、缓存管理、流量调度和生产环境运维系统。
硬件支持显示出双重部署方向
DeepInfer 的硬件支持同时覆盖 NVIDIA SM100 GPU 和华为昇腾 950 NPU。仓库要求 NVIDIA 平台使用 CUDA 13，昇腾平台使用 CANN 9.2；其他基础环境包括 Linux、GCC 13 或更高版本，以及 Python 3.12。
这种支持范围具有明显的现实背景。NVIDIA SM100 代表面向新一代大模型服务的主流高端 GPU 平台，而昇腾 950 则是中国本土 AI 加速器路线的重要组成部分。DeepSeek 把同一套推理框架扩展到两类硬件上，意味着它不仅在公开部分模型服务技术，也在尝试减少推理软件对单一硬件生态的依赖。
这也延续了 DeepSeek 近期围绕昇腾平台进行软件适配的方向。此前，DeepSeek 曾与华为推进昇腾 950 编程工具链的开源合作，涉及计算和通信库，以及面向大规模芯片集群的基础软件。对推理服务而言，硬件适配并不只是重新编译模型：注意力内核、MoE 通信、采样、缓存和调度都需要针对具体加速器进行调整。
不过，仓库当前支持的硬件范围也意味着它并非面向所有开发者的通用推理方案。README 没有把较旧的 GPU 平台列为支持对象，实际部署者还需要满足较高的硬件、驱动和软件版本要求。对于没有 SM100 GPU 或昇腾 950 NPU 的团队，DeepInfer 更可能是一份可供研究和移植的生产级系统实现，而不是可以立即运行的现成工具。
DeepSeek-V4.1-Flash成为软件栈的主要载体
DeepInfer 与 DeepSeek-V4.1-Flash 的绑定，也说明了模型架构和推理系统之间的关系越来越紧密。AIFlux此前对 DeepSeek-V4.1-Flash 的发布曾指出，该模型采用混合专家架构，支持百万级上下文，并将缓存压缩、长上下文运行和智能体任务的推理成本作为重要卖点。
这些设计会把压力从单纯的矩阵计算转移到更复杂的系统层面。模型需要在不同专家之间分配请求，需要处理更长的上下文和更大的缓存，还需要协调输入处理与输出生成。DeepInfer列出的注意力并行、MoE专家并行、异步调度和确定性采样，正是围绕这类工作负载展开的优化。
从这个角度看，DeepSeek开源的不是与模型无关的通用服务器，而是与自身模型架构、硬件平台和生产服务经验紧密结合的一套推理基础设施。其他开发者可以借鉴其中的内核、调度和并行设计，但能否直接用于其他模型，还取决于模型结构、算子实现和运行时接口是否兼容。
性能数字仍需独立复测
DeepInfer 仓库提供了性能基准入口，并说明其测试使用 4 张 SM100 GPU 进行 Prefill、64 张 SM100 GPU 进行 Decode，分别位于同一扩展域内。但 README 当前展示的基准表没有给出完整的可读数字，项目要求用户通过脚本复现测试。
这意味着，现阶段更稳妥的判断是：DeepSeek公开了生产推理框架的代码和配置路径，但性能优势仍主要属于项目方提供的测试结果。Bloomberg在报道中将这次开源描述为可能帮助企业降低运行 AI 的成本，并指出推理软件会显著影响同一模型的服务价格；但报道也强调，DeepInfer带来的效率提升尚未由外部机构完成系统性基准测试。相关报道可见 Bloomberg 对 DeepInfer 的报道。
这一区别尤其重要。推理吞吐量会受到硬件型号、并行规模、上下文长度、批大小、采样设置、缓存命中率和服务编排方式影响。一个在 DeepSeek 特定集群和模型上取得的结果，不能直接等同于其他模型、其他硬件或普通开发者环境中的通用性能保证。
开源边界可能比开源标签更重要
DeepInfer采用 Apache License 2.0，允许开发者在相对宽松的条件下研究、修改和分发代码。对于云服务商、模型部署团队和硬件厂商来说，公开的推理内核有助于理解 DeepSeek 如何处理大规模 MoE 模型，也可能促使更多围绕昇腾 950 和其他加速器的移植工作出现。
但项目的价值不能只用“是否完整开源”来衡量。KV Cache、Prefill/Decode 解耦和跨副本负载均衡等部分没有包含在此次发布中，而这些部分往往决定一个推理框架能否从离线实验走向稳定的在线服务。企业还需要自行评估许可证合规、模型权重获取、硬件采购、网络互联、监控告警和故障恢复等问题。
DeepSeek这次发布更像是把生产推理系统的核心技术面向社区开放，而不是把自己的完整服务基础设施全部交出。它让开发者能够更深入地研究模型服务的成本结构，同时也把真正大规模部署所需要的工程工作清晰地留在了开源范围之外。
接下来值得观察的有三个方面：DeepInfer是否会扩大对更多 DeepSeek 模型和硬件的支持，外部团队能否在统一条件下复现其性能结果，以及缺少的缓存、解耦和负载均衡组件是否会在后续版本中逐步开放。对于大模型行业而言，推理成本的竞争已经从模型参数和榜单分数，进一步延伸到了内核、调度器、集群通信和生产服务架构。
来源：