GRPO 如何運作:省掉 Critic,讓 AI 用同一題的多種答案互相比較
How GRPO Actually Works: The Math, The Zero-Critic Trick, and Why Reasoning Models Don't Need PPO
重點導讀
用 PPO 訓練大型語言模型時,通常得另外放一個 Critic 模型來估算每一步答得好不好,吃掉不少 GPU 記憶體;但數學題或程式題常常只有最後答案才知道對錯,中間每一步很難評分。GRPO 會讓模型針對同一題產生多種答案,再用答案的分數互相比較:比平均好就鼓勵,比平均差就減少這種答法的機會,因此不必另外訓練 Critic。像凸五邊形內角和,模型試出 4 個答案,其中 2 個正確、2 個錯誤,GRPO 就能依照這群答案的表現調整模型。DeepSeek-R1-Zero 的數學與程式任務也採用規則檢查答案對錯;訓練久了,模型可能會學會停下來重新檢查。這種做法能省下 Critic 佔用的記憶體,也讓答案有明確對錯的任務更容易用結果來訓練。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
How GRPO Actually Works: The Math, The Zero-Critic Trick, and Why Reasoning Models Don't Need PPO
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文