vLLM 與 Novita AI 合作：Chord 加速 INT4 MoE，Kimi K2.x 上 H200 提升 1.3 倍、B300 2.15 倍
vLLM x Novita AI: Chord, Faster INT4 MoE for Kimi K2.x. Up to 1.3x on H200, 2.15x on Untuned B300
重點導讀
Chord 是 Novita AI 開源的高效 W4A16 MoE CUDA 運運算元，針對 Kimi K2.x 服務形狀進行最佳化。
- - 效能提升：在 H200 EP8 前填充階段提升 1.11–1.20 倍，TP8 單例項服務 1.17–1.33 倍。
- B300 EP8 解碼階段可達 2.15 倍。
推薦理由
本報告詳細說明瞭 Chord 針對 Kimi K2.x 的 INT4 MoE 效能最佳化，讀者可參考實驗資料評估其在自家 GPU 上的效能提升。
信源出處vllm.ai
vLLM x Novita AI: Chord, Faster INT4 MoE for Kimi K2.x. Up to 1.3x on H200, 2.15x on Untuned B300
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： vLLM Official Blog (vllm.ai)
開啟原文