跳到正文
𝕏 vLLM(x.com)·· 10 天前品質評分49
重點導讀

我們在 vLLM 上針對 Vera Rubin NVL72 最佳化 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上達到 GB300 NVL72 的 58 倍吞吐量,效能為 1.7 million tokens/s/GPU、387 tokens/s/user。

不同負載下:🔹 峰值吞吐量為 2.52 million tokens/s/GPU(GB300 的 2.7 倍)🔹 P90 為 387 tokens/s/user 時,吞吐量為 1.7 million tokens/s/GPU(GB300 的 58 倍)🔹 使用 TP、單一並行工作階段時為 1,810 tokens/s

1/4

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

vLLM
vLLM@vllm_project
·10 天前
𝕏

We optimized DeepSeek-V4.1-Flash on vLLM for Vera Rubin NVL72 and reached 58× the throughput of GB300 NVL72 at 1.7 million tokens/s/GPU and 387 tokens/s/user on SemiAnalysis AgentX.

Across the curve:
🔹 2.52 million tokens/s/GPU at peak throughput (2.7× GB300)
🔹 1.7 million tokens/s/GPU at P90 387 tokens/s/user (58× GB300)
🔹 1,810 tokens/s at one concurrent session with TP

1/4

推文來源 · X (Twitter)在 X 參與討論
來源: vLLM (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論