SGLang 團隊拆解 Ling-3.0-flash 如何在 Blackwell GPU 上加快推論
Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell
重點導讀
一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。
- SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms。
- 相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。
信源出處lmsys.org
Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文