跳到正文
LMSYS Org Blog(lmsys.org)· Pranjal Shankhdhar·· 12 天前精選品質評分83

SGLang 團隊用 megakernel 讓 Muse Spark Open 在 Blackwell GPU 上達到每秒 1,109 個 token

Muse Spark Open Ultrafast: Pushing beyond 1,000 Tokens per second

重點導讀

GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。

  • LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token。
  • 團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。

信源出處lmsys.org

Muse Spark Open Ultrafast: Pushing beyond 1,000 Tokens per second

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論