跳到正文
LMSYS Org Blog(lmsys.org)· AMD & Miles Team·· 2026-07-10精選品質評分67

AMD 讓 DeepSeek-V4 Flash 能在 Instinct MI355X 上進行強化學習訓練

Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles

重點導讀

讓 AI 模型邊產生回答、邊更新訓練時,兩套系統算出的結果要保持接近,量化權重更新也不能弄亂模型狀態。

  • AMD 與 Miles 團隊讓 DeepSeek-V4 Flash 在 ROCm 上透過 SGLang 產生回答、由 Megatron 訓練,再把更新後的權重送回去。
  • 他們也調整了兩邊處理模型的方式,並在 4 個節點上完成超過 100 次訓練步驟。測試中,離線 AIME-2024 的 pass@1 從 0.39 升到 0.49,pass@8 從 0.53 升到 0.67。
  • 團隊提醒,單次成績會有起伏,應觀察整體走勢。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這次實作呈現 SGLang 與 Megatron 如何在多次更新權重後維持接近的模型行為,並以離線測試追蹤訓練變化。

信源出處lmsys.org

Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論