DFlash 和 SGLang Spec V2 加快 Qwen 3.5 397B-A17B 推論
The next generation of speculative decoding: DFlash and Spec V2
重點導讀
大型語言模型一次只生成一個 token,推論速度可能因此受限;一般草稿模型也要逐個產生候選內容。
- Z Lab、Modal 和 SGLang 團隊推出 DFlash 草稿模型,並將它整合進 SGLang 的 Spec V2 引擎。
- DFlash 一次平行草擬一整段內容,還會把目標模型整理好的上下文資訊送進草稿模型,幫助它提出較容易被接受的內容。
- 在 Qwen 3.5 397B-A17B、HumanEval、請求並行數為 1 的測試中,DFlash 的吞吐量超過基準模型 4.3 倍,也比原生 MTP 高 1.5 倍。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章比較 DFlash 與 EAGLE-3 的草稿速度、接受長度和端到端速度,並說明 KV 注入與平行草稿各自帶來的影響。
信源出處lmsys.org
The next generation of speculative decoding: DFlash and Spec V2
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文