跳到正文
LMSYS Org Blog(lmsys.org)· RadixArk SGLang Team, Ant Ling Infra Team·· 2026-08-21精選品質評分71

SGLang 團隊拆解 Ling-3.0-flash 如何在 Blackwell GPU 上加快推論

Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell

重點導讀

一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。

  • SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms。
  • 相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。

信源出處lmsys.org

Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論