跳到正文
vLLM Official Blog(vllm.ai)· Inferact and the vLLM Team·· 2026-10-23品質評分48

在 GB300 NVL72 上部署 DeepSeek‑V4.1‑Flash:vLLM 匹配 DeepInfer 並擴充套件至大規模

Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72

重點導讀

summary_zh: vLLM 在 NVIDIA GB300 NVL72 上以 954K tokens/s 的吞吐量為 DeepSeek‑V4.1‑Flash 服務,P90 196 tokens/s 每位使用者,並以每 GPU 小時 $38.96 的成本達到與 DeepInfer 相當的效能。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處vllm.ai

Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: vLLM Official Blog (vllm.ai)
開啟原文

讀者討論

理性交流 · 即時討論