Tencent Hunyuan 的 HPC-Ops 整合進 SGLang,加快 LLM 推論
HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan
重點導讀
AI 模型在伺服器上回答問題時,注意力運算、專家選擇和資料搬動都可能拖慢速度。
- Tencent Hunyuan 團隊把 HPC-Ops 的三種運算元整合進 SGLang,分別調整長短請求混在一起時的注意力運算、保留專家選擇所需的計算精度,以及減少小型專家運算前後的資料搬動。在 8 張 H20 顯示卡上,Hy3-FP8 同時使用注意力與 MoE 運算元後,部分批次的每個輸出詞元延遲降低 15.1–48.8%。
- LongCat-Flash-Lite-FP8 使用 Router GEMM 時,輸入處理速度提升 5.5–6.1%。這些結果來自文中列出的特定模型與測試設定。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
HPC-Ops 三種運算元已整合進 SGLang,文中用 H20 與 H200 測試說明它們在不同模型和工作量下的速度變化。
信源出處lmsys.org
HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文