重點導讀
我們在 vLLM 上針對 Vera Rubin NVL72 最佳化 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上達到 GB300 NVL72 的 58 倍吞吐量,效能為 1.7 million tokens/s/GPU、387 tokens/s/user。
不同負載下:🔹 峰值吞吐量為 2.52 million tokens/s/GPU(GB300 的 2.7 倍)🔹 P90 為 387 tokens/s/user 時,吞吐量為 1.7 million tokens/s/GPU(GB300 的 58 倍)🔹 使用 TP、單一並行工作階段時為 1,810 tokens/s
1/4
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
vLLM@vllm_project
·10 天前
We optimized DeepSeek-V4.1-Flash on vLLM for Vera Rubin NVL72 and reached 58× the throughput of GB300 NVL72 at 1.7 million tokens/s/GPU and 387 tokens/s/user on SemiAnalysis AgentX.
Across the curve:
🔹 2.52 million tokens/s/GPU at peak throughput (2.7× GB300)
🔹 1.7 million tokens/s/GPU at P90 387 tokens/s/user (58× GB300)
🔹 1,810 tokens/s at one concurrent session with TP
1/4
推文來源 · X (Twitter)在 X 參與討論