跳到正文
𝕏 vLLM(x.com)·· 11 天前品質評分36
重點導讀

vLLM 持續提升 MiniMax-M3.1-Flash 在 NVIDIA Vera Rubin NVL72 上的效能!🚀

在 @SemiAnalysis_ AgentX 上,比較 vLLM 在 Rubin 與 GB300 NVL72 上的表現:

🔥 在每位使用者 P90 達 546 tok/s 時,每晶片總 tok/s(含快取)達 10.2x📈 在每位使用者 P90 達 376 tok/s 時,達 6.5x⚡ 低並行度時,每位使用者 P90 最高達 1,205 tok/s

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

vLLM
vLLM@vllm_project
·11 天前
𝕏

vLLM keeps pushing MiniMax-M3.1-Flash performance on NVIDIA Vera Rubin NVL72! 🚀

On @SemiAnalysis_ AgentX, vLLM on Rubin vs. on GB300 NVL72:

🔥 10.2x total tok/s/chip (incl. cached) at 546 P90 tok/s/user
📈 6.5x at 376 P90 tok/s/user
⚡ Up to 1,205 P90 tok/s/user at low concurrency

推文來源 · X (Twitter)在 X 參與討論
來源: vLLM (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論