用強化學習訓練自家代理模型,如今已切實可行——專訪 Modal 的 Jason Mancuso
Modal 的 Jason Mancuso 詳細說明一套穩定的 GRPO 訓練配方,結合遮蔽式重要性取樣(masked importance sampling)與稀疏權重差值更新,讓團隊能在碎片化、異質的 GPU 叢集上執行非同步強化學習,將 rollout 成本降低 15%。
Modal 的 Jason Mancuso 詳細說明一套穩定的 GRPO 訓練配方,結合遮蔽式重要性取樣(masked importance sampling)與稀疏權重差值更新,讓團隊能在碎片化、異質的 GPU 叢集上執行非同步強化學習,將 rollout 成本降低 15%。