跳到正文
LMSYS Org Blog(lmsys.org)· The SpecForge Team·· 2026-08-04精選品質評分78

SpecForge v0.3.0 拆開推論與訓練流程,支援更多推測解碼方法

SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models

重點導讀

訓練推測解碼模型時,目標模型推論和草稿模型訓練會搶資源,也不容易分開調整。

  • SpecForge v0.3.0 把兩種工作拆成可各自擴充的流程,並用同一套訓練工具支援 EAGLE3、DFlash、Domino 等多種方法。
  • 團隊也發布了涵蓋不同模型與方法的草稿模型。在 8×H20 測試中,3 臺 SGLang 伺服器搭配 5 個訓練工作者,訓練吞吐量比舊的集中式做法約高 10%。這讓團隊能依工作需求調整推論和訓練資源。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

SpecForge 把目標模型推論和草稿模型訓練拆開,並以 8×H20 測試呈現調整兩邊資源配置後的訓練吞吐量變化。

信源出處lmsys.org

SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論