Google 用 Zero-TIM 讓 TPU 上的 AI 模型取樣與訓練結果完全一致
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch
重點導讀
大型語言模型用強化學習訓練時,取樣和更新模型若算出些微不同的機率,訓練可能變得不穩。
- Google 在 Tunix 中做出 Zero-TIM,讓 TPU 上的取樣、服務預填和訓練三條流程,對同一個動作算出完全相同的機率。
- 做法包括固定運算順序,並讓訓練重用服務端的計算。團隊在 64 張 TPU v5p 上測試 200 步,Zero-TIM 每一步的取樣與訓練機率差異平均為零,這些測試中的解題率也比另外兩種做法高。結果來自 FrozenLake 測試環境,文章沒有說明其他模型或任務的表現。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文中拆解 TPU 上取樣與訓練算出不同機率的原因,並提供三段比對流程,方便定位數值差異從哪裡出現。
信源出處developers.googleblog.com
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Google Developers Blog (developers.googleblog.com)
開啟原文