SpecForge v0.3.0 拆開推論與訓練流程,支援更多推測解碼方法
SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models
重點導讀
訓練推測解碼模型時,目標模型推論和草稿模型訓練會搶資源,也不容易分開調整。
- SpecForge v0.3.0 把兩種工作拆成可各自擴充的流程,並用同一套訓練工具支援 EAGLE3、DFlash、Domino 等多種方法。
- 團隊也發布了涵蓋不同模型與方法的草稿模型。在 8×H20 測試中,3 臺 SGLang 伺服器搭配 5 個訓練工作者,訓練吞吐量比舊的集中式做法約高 10%。這讓團隊能依工作需求調整推論和訓練資源。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
SpecForge 把目標模型推論和草稿模型訓練拆開,並以 8×H20 測試呈現調整兩邊資源配置後的訓練吞吐量變化。
信源出處lmsys.org
SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文