DFlash 和 SGLang Spec V2 加快 Qwen 3.5 397B-A17B 推論
大型語言模型一次只生成一個 token,推論速度可能因此受限;一般草稿模型也要逐個產生候選內容。Z Lab、Modal 和 SGLang 團隊推出 DFlash 草稿模型,並將它整合進 SGLang 的 Spec V2 引擎。DFlash 一次平行草擬一整段內容,還會把目標模型整理好的上下文資訊送進草稿模型,幫助它提出較容易被接受的內容。在 Qwen 3.5 397B-A17B、HumanEval、請求並行數為 1 的測試中,DFlash 的吞吐量超過基準模型 4.3 倍,也比原生 MTP 高 1.5 倍。
推薦理由:文章比較 DFlash 與 EAGLE-3 的草稿速度、接受長度和端到端速度,並說明 KV 注入與平行草稿各自帶來的影響。