vLLM 推測解碼教學:EAGLE、MTP 和草稿模型何時能加速?
大型模型逐字產生內容時,常受記憶體讀取速度限制;推測解碼會先讓較小的草稿模型猜幾個 token,再由目標模型一次檢查,留下它認可的部分。文章用公式說明接受率和草稿成本如何影響速度,並比較 vLLM 0.33.0 的 ngram、草稿模型、EAGLE、MTP 和 dflash/dspark 等方法。作者也提醒,接受率太低或同時處理的請求太多時,額外草稿可能拖慢速度;應依自己的硬體和工作量調整草稿長度與批次設定。文中引用的測試結果來自各研究與團隊,作者沒有自行測試。
推薦理由:文章用接受率與草稿成本說明推測解碼何時能縮短生成時間,也指出批次變大時加速可能消失,提供調整設定的實用判斷方式。