Hugging Face 发布原生速度的 vLLM transformers 建模后端

Hugging Face 宣布 vLLM 的 transformers 建模后端在多项架构测试中达到或超过 vLLM 手动编写的原生实现速度。

该后端通过 torch.fx 进行模型图静态分析并在运行时动态应用特定层融合，使模型作者无需编写额外代码即可直接获得原生级推理吞吐量。