【HUGGINGFACE】一条命令在 HF Jobs 启动 vLLM 服务

Hugging Face 介绍如何用一条 hf jobs run 命令在 HF Jobs 上快速启动一个私有、OpenAI 兼容的 vLLM 服务端点，支持通过暴露端口用 OpenAI 客户端或 curl 进行查询，并可按秒计费。文中涵盖启动示例、鉴权与访问控制、清理计费、扩展至更大模型及附加操作（UI、SSH、调参）等实用细节。

前提条件
– 需要有效支付方式或预充值余额（Jobs 按分钟/秒计费）。
– 安装 huggingface_hub >= 1.20.0 并本地登录（hf auth login）。

一条命令启动服务（示例）
– 命令形式：
hf jobs run –flavor –expose 8000 –timeout 2h \
vllm/vllm-openai:latest \
vllm serve –host 0.0.0.0 –port 8000 –expose 8000
– 示例（Qwen3-4B, a10g-large）：
hf jobs run –flavor a10g-large –expose 8000 –timeout 2h \
vllm/vllm-openai:latest \
vllm serve Qwen/Qwen3-4B –host 0.0.0.0 –port 8000 –expose 8000
– 命令返回 job id 和可访问 URL（例如 https://–8000.hf.jobs）。

调用与鉴权
– vLLM 暴露的接口兼容 OpenAI API，使用 HF token 作为 Bearer token。
– curl 示例和 Python（OpenAI client 指向 base_url）代码片段均可直接调用。
– 端点是受限的：每次请求必须带有对该 job namespace 的读权限 HF token，浏览器直接访问会被拒绝。

清理与计费
– Jobs 按秒计费，完成后应显式取消：hf jobs cancel
– 设置 –timeout 可做为自动停止的保险；选择合适的 flavor 以优化费用（例如 a10g-large 列出价格）。

扩展与进阶用法
– 更大模型：通过更强的 –flavor 和 –tensor-parallel-size 对模型做切片（示例：Qwen3.5-122B 在 h200x2，需 –tensor-parallel-size 2）。
– 内存/上下文调整：对大型模型可通过 –max-model-len 与 –max-num-seqs 限制以防 OOM。
– UI：可用几行 Gradio 客户端代码指向该 job，实现带“思考/推理”流的聊天界面（可启用 –reasoning-parser）。
– SSH：启动时加 –ssh 并注册公钥，可用 hf jobs ssh 进入容器进行调试和监控（nvidia-smi、查看进程等）。

建议与注意事项
– 不要将 job URL 或 token 暴露给不受信的环境；若需公开访问，建议在前端加网关或使用 Inference Endpoints 做生产部署。

参考场景
– 快速测试、评估或批量生成时，用 HF Jobs 一条命令快速验算模型；若追求托管化、生产级 SLA，可考虑 Inference Endpoints。

这种按秒计费且一条命令就能跑起私有 OpenAI 兼容端点的方式，对快速验证和研发非常实用，但生产化仍需考虑访问控制与成本管理。

原文链接