重點導讀
vLLM 持續提升 MiniMax-M3.1-Flash 在 NVIDIA Vera Rubin NVL72 上的效能!🚀
在 @SemiAnalysis_ AgentX 上,比較 vLLM 在 Rubin 與 GB300 NVL72 上的表現:
🔥 在每位使用者 P90 達 546 tok/s 時,每晶片總 tok/s(含快取)達 10.2x📈 在每位使用者 P90 達 376 tok/s 時,達 6.5x⚡ 低並行度時,每位使用者 P90 最高達 1,205 tok/s
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
vLLM@vllm_project
·11 天前
vLLM keeps pushing MiniMax-M3.1-Flash performance on NVIDIA Vera Rubin NVL72! 🚀
On @SemiAnalysis_ AgentX, vLLM on Rubin vs. on GB300 NVL72:
🔥 10.2x total tok/s/chip (incl. cached) at 546 P90 tok/s/user
📈 6.5x at 376 P90 tok/s/user
⚡ Up to 1,205 P90 tok/s/user at low concurrency
推文來源 · X (Twitter)在 X 參與討論