基础设施与工程 10 天前
DeepSeek 开源 DeepInfer 推理框架：把大模型服务的成本控制技术交给开发者
DeepSeek 于 2026-10-20 在 GitHub 开源了 DeepI…
编辑部
标签专题
#Inference
聚焦该标签下的所有相关内容。
共 7 篇
基础设施与工程 10 天前
DeepSeek开源DeepInfer推理框架：面向V4.1-Flash，支持英伟达与华为昇腾芯片
DeepSeek在GitHub开源了DeepInfer推理框架，面向DeepSe…
编辑部
基础设施与工程 28 天前
GPT-6 Astra Ultrafast上线：英伟达称Blackwell平台带来最高8倍生成速度
英伟达与OpenAI合作宣布GPT-6 Astra的Ultrafast服务已通过…
编辑部
基础设施与工程 1 个月前
英伟达 Vera Rubin NVL72 首次参与 MLPerf Inference v6.1 测试：特定场景吞吐量最高达 GB300 的 3.7 倍
英伟达在 MLPerf Inference v6.1 的预览提交中披露 Vera…
编辑部
基础设施与工程 1 个月前
Amazon SageMaker推出前缀感知路由，长上下文推理首Token延迟最高降低77%
AWS 在 Amazon SageMaker Inference 推出“前缀感知…
编辑部
基础设施与工程 2 个月前
OpenAI预览GPT-5.6 Sol Ultrafast：输出速度最高达每秒750个Token
OpenAI于2026年8月13日宣布向少量客户预览GPT-5.6 Sol的Ul…
编辑部