跳到正文
LMSYS Org Blog(lmsys.org)· Tencent Hunyuan AI Infra and the SGLang Team·· 2026-08-07精選品質評分77

Tencent Hunyuan 的 HPC-Ops 整合進 SGLang,加快 LLM 推論

HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan

重點導讀

AI 模型在伺服器上回答問題時,注意力運算、專家選擇和資料搬動都可能拖慢速度。

  • Tencent Hunyuan 團隊把 HPC-Ops 的三種運算元整合進 SGLang,分別調整長短請求混在一起時的注意力運算、保留專家選擇所需的計算精度,以及減少小型專家運算前後的資料搬動。在 8 張 H20 顯示卡上,Hy3-FP8 同時使用注意力與 MoE 運算元後,部分批次的每個輸出詞元延遲降低 15.1–48.8%。
  • LongCat-Flash-Lite-FP8 使用 Router GEMM 時,輸入處理速度提升 5.5–6.1%。這些結果來自文中列出的特定模型與測試設定。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

HPC-Ops 三種運算元已整合進 SGLang,文中用 H20 與 H200 測試說明它們在不同模型和工作量下的速度變化。

信源出處lmsys.org

HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論