跳到正文
Dev.to Top Tech(dev.to)· Syed Anzar·· 5 天前品質評分46

GRPO 如何運作:省掉 Critic,讓 AI 用同一題的多種答案互相比較

How GRPO Actually Works: The Math, The Zero-Critic Trick, and Why Reasoning Models Don't Need PPO

重點導讀

用 PPO 訓練大型語言模型時,通常得另外放一個 Critic 模型來估算每一步答得好不好,吃掉不少 GPU 記憶體;但數學題或程式題常常只有最後答案才知道對錯,中間每一步很難評分。GRPO 會讓模型針對同一題產生多種答案,再用答案的分數互相比較:比平均好就鼓勵,比平均差就減少這種答法的機會,因此不必另外訓練 Critic。像凸五邊形內角和,模型試出 4 個答案,其中 2 個正確、2 個錯誤,GRPO 就能依照這群答案的表現調整模型。DeepSeek-R1-Zero 的數學與程式任務也採用規則檢查答案對錯;訓練久了,模型可能會學會停下來重新檢查。這種做法能省下 Critic 佔用的記憶體,也讓答案有明確對錯的任務更容易用結果來訓練。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

How GRPO Actually Works: The Math, The Zero-Critic Trick, and Why Reasoning Models Don't Need PPO

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論