miniTE 技術報告:用 NVFP4 加速強化學習,並處理訓練不穩問題
miniTE Technical Report: Stable and Efficient Reinforcement Learning with Native NVFP4
重點導讀
大型語言模型用低精度運算可以省時間,但訓練到後期可能變得不穩,模型在訓練和生成時算出的機率也可能對不上。
- 這份技術報告提出兩種做法:TRIAGE 會依照誤差和更新方向調整訓練。
- miniTE 則整理量化和運算方式,讓研究者比較誤差並加快運算。在 8×B300 的測試中,miniTE 搭配 BF16 反向運算,完整訓練更新速度約為 BF16 的 1.33–1.37 倍。
- 另一項固定輸出的測試,生成速度約為 BF16 的 1.64 倍。不過,線上強化學習中轉換和同步權重會抵銷部分取樣收益,實際訓練的五項任務平均成績也仍低於 BF16。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
報告分開比較數值誤差、訓練表現與完整更新速度,呈現低精度運算在實際強化學習流程中的取捨。
信源出處lmsys.org
miniTE Technical Report: Stable and Efficient Reinforcement Learning with Native NVFP4
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文