跳到正文
LMSYS Org Blog(lmsys.org)· Ant Group Venus and SCT Teams, and the SGLang Team·· 5 天前精選品質評分68

Humming 整合 SGLang,讓低位元 MoE 模型跑得更快

Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving

重點導讀

大型 MoE 模型需要存放大量專家權重,怎麼在省記憶體的同時加快運算,是實際部署時的難題。

  • Humming 把低位元權重接上專用運算核心,整合到 SGLang 後,仍由 SGLang 負責分派工作,Humming 負責處理輸入和矩陣運算。文章在 8 張 H20-3e GPU 上測試 DeepSeek-V4.1-Flash-1017:相同 A16 精度下,長上下文輸入的速度比 Marlin 快 1.07 到 1.23 倍。
  • 改用 FP8 專家運算也能提高部分測試的輸出速度。這些結果只適用於文中測試的設定,不能直接代表其他模型或工作負載。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章比較 Humming 在不同精度與專家分流設定下的速度,並交代測試條件,能看出加速幅度會隨工作負載與設定改變。

信源出處lmsys.org

Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論