Hugging Face 携手 SkyPilot 实现跨云零出网存储

Hugging Face 与 SkyPilot 联合推出将 Hugging Face Storage 作为 SkyPilot 的一级后端，通过 hf:// 挂载桶和 Hub 仓库到任意 SkyPilot 任务，读取不计出网费用，从而在多个云与本地集群间自由调度 GPU 计算而无需为跨云读取支付高额流量费。该方案支持懒加载、磁盘缓存与 Xet 增量去重，覆盖训练、调试与推理全流程。

背景

• 许多团队把模型与数据放在某一云的对象存储，但 GPU 容量常分布在多云或本地，跨云读取会产生高额出网（egress）费用。

新功能要点

• store: hf：SkyPilot 新增 Hugging Face Storage 后端，可通过 hf:// URL 将 Bucket（读写）或模型/数据集/Space 仓库（只读）挂载到任务。
• 一 Token 多云适用：使用已有 HF_TOKEN 认证，作业落在哪个云都可访问，无需为每个云配置单独密钥。
• 无出网读取费用：Hugging Face Storage 对读取不收取出网或 CDN 费用，跨云读数据不再产生 egress 账单。
• 挂载模式：MOUNT（懒加载且本地缓存）与 COPY（事前下载）两种；hf-mount 在非特权容器下可用，懒加载能让 GPU 早启动并按需传输字节。
• Xet 去重：Bucket 基于 Xet 存储，增量检查点/模型变体只传输改动块，节省存储与传输带宽。

使用场景

• 跨云训练/微调：在任意云或本地集群启动 SkyPilot 作业，直接从 Hub 读取基模型与数据集，并把检查点写回 Bucket。
• 弹性调度：SkyPilot 在 20+ 云、Kubernetes、Slurm 与 on-prem 间调度，读数据无 egress 限制后不必把作业锁定到某一云。

实际效果与基准

• 实测：在 AWS/GCP/Lambda 上运行同一 SkyPilot 作业，模型与检查点都挂在同一 Hugging Face Bucket；模型读取免费并支持懒加载，训练准备时间约 30 秒级别（视网络与读取量）。

注意事项

• 写回（上传到非 HF 存储或从云导出）仍受目标云的出网费用影响。
• HF_TOKEN 管理需注意安全，按需使用 –secret 传递。

结论

• 对于在多云和本地混合容量下运行深度学习工作负载的团队，此集成显著降低跨云读取成本并简化调度与存储管理。

这项集成能显著降低跨云读取成本并解放多云 GPU 调度，但写回仍需留意目标云出网费用。

原文链接