跳到正文
Google Developers Blog(developers.googleblog.com)·· 6 天前精選品質評分77

Google 用 Zero-TIM 讓 TPU 上的 AI 模型取樣與訓練結果完全一致

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

重點導讀

大型語言模型用強化學習訓練時,取樣和更新模型若算出些微不同的機率,訓練可能變得不穩。

  • Google 在 Tunix 中做出 Zero-TIM,讓 TPU 上的取樣、服務預填和訓練三條流程,對同一個動作算出完全相同的機率。
  • 做法包括固定運算順序,並讓訓練重用服務端的計算。團隊在 64 張 TPU v5p 上測試 200 步,Zero-TIM 每一步的取樣與訓練機率差異平均為零,這些測試中的解題率也比另外兩種做法高。結果來自 FrozenLake 測試環境,文章沒有說明其他模型或任務的表現。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文中拆解 TPU 上取樣與訓練算出不同機率的原因,並提供三段比對流程,方便定位數值差異從哪裡出現。

信源出處developers.googleblog.com

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Google Developers Blog (developers.googleblog.com)
開啟原文

讀者討論

理性交流 · 即時討論