Hugging Face：transformers 后端达原生 vLLM 性能

Hugging Face 将 transformers 作为 vLLM 的建模后端大幅优化：通过运行时图分析与代码改写，transformers 后端在多种 Qwen3 模型上已达到或超越原生 vLLM 实现的推理吞吐。模型作者可无需额外移植，即可免费获得原生级别的超快推理性能。

概览
– Hugging Face 把 transformers 作为 vLLM 的建模后端进行了重大升级。目标是让使用 transformers 实现的模型在 vLLM 推理引擎中以“原生”速度运行。

主要成果
– 在多种 Qwen3 实验（4B 单卡、32B 张量并行、235B FP8 MoE 的8×H100节点）中，transformers 后端的吞吐率已与或优于 vLLM 的手写原生实现。
– 启用方式：在 vllm 命令中加入 –model-impl transformers 即可，无需改动部署流程或模型代码（线性注意类模型暂不支持）。

技术方法
– 使用 torch.fx 对模型静态图进行分析，识别可优化的模式。
– 基于 AST（抽象语法树）在源码层面重写匹配的操作，把多步操作融合为 vLLM 的高效内核（如用于 MoE 的 Expert Parallelization 内核、MergedColumnParallelLinear、QKVParallelLinear）。
– 经处理的模型仍可通过 torch.compile 和 CUDA Graphs 编译，且保留训练能力（可用于训练、评估和 RL rollouts），消除了训练/推理代码分离的需要。

并行与兼容性
– 支持常见并行策略：数据并行、张量并行、专家并行，并能推断 TP/PP/EP 的并行计划。
– 对不兼容或自定义未合规实现的 Hub 仓库模型可能无法工作；线性注意模型待后续支持。

使用示例
– Qwen3-4B（单 GPU）: vllm serve Qwen/Qwen3-4B –model-impl transformers
– Qwen3-32B（张量并行）: vllm serve Qwen/Qwen3-32B –model-impl transformers –tensor-parallel-size 2
– Qwen3-235B MoE（8 卡，数据+专家并行）: vllm serve Qwen/Qwen3-235B-A22B-FP8 –model-impl transformers –data-parallel-size 8 –enable-expert-parallel

限制与下一步
– 目前不支持线性注意和某些自定义模型实现。Hugging Face 表示将发布更详尽的技术拆解文章，解释具体的模型改写与融合策略。

资源
– 官方仓库与基准脚本（文章内含可复现的 benchmark.sh）；相关链接：Transformers 定义、vLLM transformers 后端、Torch FX、AST 文档。

这让模型作者能用同一套 transformers 代码在训练与推理间无缝切换，同时获得接近原生的推理速度，显著降低工程成本。

原文链接