Miles 加入 OPD 訓練,讓學生模型學會更短的推理
OPD Support in Miles
重點導讀
學生模型可以學會教師模型的回答方式,但訓練時如果只靠任務獎勵,不一定能教會它用更短的推理完成工作。
- LMSYS Org 為 Miles 加入 OPD,讓學生模型能只跟著教師模型學,也能把教師指引和任務獎勵一起用。
- 新的稀疏評分流程只請教師模型評分各位置需要的候選 token,減少多餘資料的傳送與解析。在千問 Qwen3.5-35B-A3B 的自我蒸餾實驗中,任務獎勵設為零,學生模型的回答長度從約 18.6k tokens 降至多數約 5.5k–6.7k tokens,保留的 DAPO 表現也從 0.8457 升至 0.8945。這是初步驗證,其他模型和任務仍待測試。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Miles 的稀疏評分流程減少教師模型不必要的資料傳送與解析,實驗也呈現縮短推理與維持任務表現的結果。
信源出處lmsys.org
OPD Support in Miles
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文