Hugging Face 宣布，Transformers 作为 vLLM 建模后端，在多种大模型架构上已经达到甚至超过手写的 vLLM 原生实现。文章使用不同规模的 Qwen3 模型进行测试，包括单卡 4B、张量并行 32B，以及在 8 张 H100 上运行的 235B FP8 MoE 模型。

过去为什么要手工移植

Transformers 擅长提供清晰、统一的模型定义，vLLM 则提供 continuous batching、PagedAttention 和定制 Attention kernel 等高性能推理能力。过去一个新架构想进入 vLLM，往往需要重新实现模型代码并长期同步上游变化。

这种双实现模式会带来几个问题：

  • 新模型发布后，高性能服务支持存在时间差
  • 模型作者需要维护两套逻辑
  • 权重命名、配置和特殊算子容易出现兼容差异
  • 优化补丁需要分别测试

让 vLLM 直接调用 Transformers 模型定义，可以减少重复实现，同时保留 vLLM 的调度与 kernel 优化。

对模型作者意味着什么

如果模型已经正确接入 Transformers，就有机会自动获得 vLLM 的生产级推理能力。新架构从研究代码走到服务端的路径会明显缩短，尤其利好迭代快速的小众模型和视觉语言模型。

不过“同样快”不代表所有场景都无需测试。性能仍会受到 batch 分布、上下文长度、并行策略、量化方式和 GPU 架构影响。上线前应在真实请求分布下比较吞吐、首 Token 延迟、单 Token 延迟和显存占用。

更大的生态意义

这次改进把“模型定义”和“推理运行时”之间的边界变得更清晰。模型作者专注表达架构，推理框架专注调度、缓存和 kernel，双方通过稳定接口组合。

如果这种模式持续成熟，未来支持新模型可能不再需要每个推理框架重复移植一遍。对开发团队来说，模型升级会更快，但回归评测仍不可省略。