SGLang 團隊用 megakernel 讓 Muse Spark Open 在 Blackwell GPU 上達到每秒 1,109 個 token
Muse Spark Open Ultrafast: Pushing beyond 1,000 Tokens per second
重點導讀
GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。
- LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token。
- 團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。
信源出處lmsys.org
Muse Spark Open Ultrafast: Pushing beyond 1,000 Tokens per second
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文