DeepSeek在GitHub开源了DeepInfer推理框架，面向DeepSeek-V4.1-Flash并支持英伟达SM100与华为昇腾950加速器。该框架提供优化内核、模型与采样运行时及多种并行策略，但不包含KV Cache、Prefill/Decode解耦与跨副本负载均衡等生产级服务组件。
DeepSeek于10月20日在GitHub公开DeepInfer，一套面向大规模模型服务的高性能推理框架。公司在项目说明中称，DeepInfer是支撑其大规模生产服务的推理基础设施之一；此次发布则把其中一部分能力以Apache License 2.0开放给开发者。
不过，DeepInfer目前更准确地说是一个面向离线推理的框架，而不是可以直接替代完整云端托管服务的开源方案。项目方同时列出了完整推理服务仍需自行补充的关键组件，包括KV Cache系统、Prefill与Decode解耦，以及跨数据并行副本的负载均衡。
DeepInfer目前支持什么
DeepInfer官方GitHub仓库目前明确列出的支持模型是DeepSeek-V4.1-Flash。框架包含优化内核、模型运行时和采样器运行时，并支持注意力数据并行与平衡上下文并行、MoE专家并行和专家级负载均衡等能力。
在推理流程方面，仓库还列出了DSpark与置信度调度验证、SWA bounded replay、异步调度、批次不变推理、确定性采样以及结构化输出。结构化输出意味着开发者可以要求模型按预定格式返回结果，这对工具调用、数据抽取和自动化工作流尤其重要。
硬件支持目前集中在两条路线：英伟达SM100 GPU和华为昇腾950 NPU。项目的构建说明要求Linux、GCC 13或更高版本、Python 3.12，以及英伟达平台上的CUDA 13或昇腾平台上的CANN 9.2。仓库还提供离线推理示例，默认会从Hugging Face缓存中下载DeepSeek-V4.1-Flash-1017模型，也允许使用本地模型目录。
这意味着，DeepInfer的开放重点并不是让个人电脑立即运行一个大型模型，而是公开面向特定硬件和模型组合的底层执行路径。对于云服务商、模型部署团队和拥有相应加速卡集群的开发者而言，这类代码可能比单纯开放模型权重更接近实际运营成本的核心。
“生产服务框架”不等于完整托管系统
DeepSeek在README中将DeepInfer描述为支撑其大规模生产服务的框架，但同一份文档也明确划出了本次开源的边界。KV Cache、Prefill/Decode解耦和跨副本负载均衡并未包含在此次发布中。
KV Cache负责保存模型已经计算过的上下文中间结果，能够避免模型在生成每个新Token时重复处理全部历史内容。对于长上下文、多轮对话和高并发服务，缓存的容量、布局、传输和失效策略都会影响显存占用与推理成本。因此，缺少KV Cache系统，意味着使用者仍需把这一层与DeepInfer对接起来。
Prefill和Decode则是大模型服务中两种不同的计算阶段。前者通常处理输入上下文，后者负责逐步生成输出。将两者解耦，可以让系统针对不同阶段分别调度硬件资源，但也会引入缓存传输、网络通信和服务编排问题。DeepSeek的说明表明，框架中已经实现了部分相关引擎能力，但完整的生产级组合仍不在本次发布范围内。
因此，“开源推理框架”与“完整托管服务已经开源”之间需要保持区别。DeepInfer公开的是模型执行和部分调度能力，部署方仍要负责服务层的缓存、路由、负载均衡、监控和故障处理。
硬件适配成为模型效率竞争的一部分
DeepInfer同时支持SM100 GPU和昇腾950 NPU，显示出DeepSeek正在把模型运行时与不同硬件平台的适配放在同一公开项目中。此前，DeepSeek已经围绕V4.1的注意力计算路径公开过多项底层软件更新，包括将部分FlashMLA内核扩展到昇腾950；DeepSeek对昇腾950适配V4.1注意力内核的更新显示，模型能否在国产加速器上运行，不只取决于硬件理论算力，也取决于注意力内核、缓存格式、编译器和上层推理框架是否能够衔接。
这类适配对于MoE模型尤其重要。专家并行会把不同Token分发给不同专家，系统需要同时处理路由、通信、矩阵计算和结果合并。理论上的芯片性能，只有在这些步骤能够被有效调度、并且通信开销受到控制时，才可能转化为真实服务吞吐量。
DeepSeek此前公开的DeepGEMM 26/09底层更新也体现了类似方向：把稀疏索引、MoE路由、融合内核和运行时编译下沉到GPU基础软件层。DeepInfer则进一步把模型、采样和服务调度中的部分能力放进一个面向部署的框架中。
性能数字仍需放在测试条件下理解
DeepInfer仓库包含性能和评测部分，项目方说明其测试使用了不同数量的SM100 GPU分别执行Prefill和Decode。相关结果属于DeepSeek提供的项目测试数据，测试硬件、模型版本、输入长度、批量大小和并行配置都会影响最终结果，不能直接视为独立第三方Benchmark。
这也是此次发布最需要注意的限制之一。一个优化内核在特定输入形状下取得较高吞吐，并不意味着完整模型服务在不同请求分布、长上下文、跨节点通信和故障重试条件下都能获得同等收益。尤其当KV Cache、Prefill/Decode解耦和跨副本负载均衡仍由部署方自行完成时，端到端成本还会受到系统层因素影响。
从开发者角度看，DeepInfer的价值可能首先体现在可研究性和可适配性：使用者可以检查DeepSeek如何组织V4.1-Flash的模型执行、专家并行、采样和结构化输出，并据此构建自己的部署系统。但对于希望直接获得稳定在线服务的企业而言，开源代码仍只是服务栈的一部分。
DeepSeek此次公开DeepInfer，延续了其将模型权重、推理框架、GPU内核和硬件适配逐步公开的路线。它有可能降低部分团队研究和实现高性能推理的门槛，也让英伟达与华为加速器上的软件生态获得更多可观察的参考实现。
但这次发布的实际影响，最终取决于三个问题：社区能否把缺失的服务组件补齐，其他推理框架能否吸收或兼容其实现，以及项目方公布的性能能否在独立环境中复现。在这些问题得到回答前，DeepInfer更适合被理解为一套重要但边界清晰的开源推理基础设施，而不是一个已经完整开放的生产托管平台。
来源：DeepSeek DeepInfer官方GitHub仓库；Bloomberg报道：DeepSeek Unveils Open-Source Tool to Help Cut AI Operating Costs。