SGLang-JAX 加速 Ling-2.6-1T 在 TPU 上的運作,MoE 預填延遲減半
Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel
重點導讀
大型 AI 模型在 TPU 上運作時,常要花不少時間搬移資料,讓晶片等不到運算所需的內容。
- LMSYS 團隊為 SGLang-JAX 製作新的 MoE 核心,把資料搬移和模型運算排在一起進行,讓 Ling-2.6-1T 的 MoE 預填延遲從 5.16 毫秒降到 2.42 毫秒。
- 在相同測試中,16 張 TPU v7x 的輸出速度是 16 張 H200 的 1.29 到 1.77 倍。不過,整體預填速度只提升約 25%,因為 GLA 預填目前仍是主要瓶頸。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處lmsys.org
Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文