跳到正文
vLLM Official Blog(vllm.ai)· vLLM Team, Inferact, Red Hat, and NVIDIA·· 22 天前精選品質評分80

vLLM 在 NVIDIA Vera Rubin NVL72 上實現 7.8 倍吞吐提升

vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72

重點導讀

vLLM 現已支援 NVIDIA Vera Rubin NVL72,透過 Rubin‑tuned kernels 與 locality‑domain 技術,單張 GPU 的推理吞吐率比 GB200 NVL72 高達 7.8 倍,在 AgentX 端點與 MLPerf VLM 測試中分別提升 5.18 倍 與 3.7 倍。

推薦理由

本篇展示 vLLM 在新一代 NVIDIA Vera Rubin NVL72 上的 7.8 倍吞吐提升,並說明如何利用 Rubin‑tuned kernel 與 locality‑domain 技術達成高效代理推理,為部署高效代理模型提供實際效能參考。

信源出處vllm.ai

vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: vLLM Official Blog (vllm.ai)
開啟原文