微软在Foundry上托管Hugging Face模型

微软在 Build 2026 推出 Foundry Managed Compute，将经安全筛选、以 SafeTensors 格式预置权重的 Hugging Face 开源模型纳入 Foundry 模型目录，支持一键部署、统一 SDK、企业级治理与可观测性。该方案兼顾开源模型的可定制性与企业生产环境的运维与合规需求。

概览
– 微软在 Build 2026 宣布：Hugging Face 模型已集成到 Foundry Managed Compute，权重预置在 Azure，模型每周更新并可一键部署。

Foundry 平台能力
– 单一端点与统一 SDK（Python、C#、JavaScript、Java）。
– Agent 服务：多智能体编排、内建记忆、Foundry IQ 知识接地与工具目录。
– 平台治理：实时监控、端到端追踪、连续评估、提示优化器、内容安全与任务守护。
– 部署选项：按 token 付费、预置吞吐、以及 Managed Compute（托管 GPU PaaS）。

Managed Compute 特性
– 以模型为规划维度（参数量、上下文长度、延迟/吞吐偏好），微软负责底层 GPU 拓扑与机器维护。
– 自动容器与运行时更新（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp 等受支持运行时）。
– 全球部署与数据区部署（满足数据驻留与主权需求）。
– 与 Foundry 的统一账单、鉴权与可观测性。

为何引入 Hugging Face
– Hugging Face 是开源模型生态的核心，数百万模型与大量社区信号。
– 开放权重带来微调、蒸馏、量化与 LoRA 等深度定制能力，以及托管在自有租户和网络边界下的部署优势。
– 成本模型灵活：按小时计费 GPU、可弹性伸缩、按需关停。

模型筛选与上架流程
– 基于社区热度、合作伙伴与客户需求选取候选模型。
– 许可与安全合规审查：保留许可元数据，排查 trust_remote_code 与可执行定制代码。
– 仅上架 SafeTensors 格式权重，优先无需远程执行第三方代码的模型。
– 构建、扫描并签名运行时镜像，权重上传至安全的 Azure 存储。

开发者使用体验
– Hugging Face 的开源模型在 Foundry 中与闭源 frontier 模型一致使用：相同端点、相同 SDK、相同观测与接入 Agent。
– 支持将不同模型类型混合到单个 agent 中，简化集成路径。

当前可用性与场景
– 覆盖多种模态：文本、视觉、音频与多模态模型（LLM、VLM、ASR、嵌入、分割、图像生成等）。
– 适合需要模型可控性、可定制权重与企业治理的生产与研究场景。

小结
– 该整合把 Hugging Face 的开放创新与微软 Foundry 的企业级运维和治理结合，降低了开源模型在企业上线的运维与合规门槛，同时保留全权重可定制的优势。

这是将开源模型可定制性与企业级运维结合的一步重要实践，但仍需关注长期维护与成本模型。

原文链接