用強化學習訓練自家代理模型,如今已切實可行——專訪 Modal 的 Jason Mancuso
用強化學習訓練自家代理模型,如今已切實可行——專訪 Modal 的 Jason Mancuso
Modal 的 Jason Mancuso 詳細說明一套穩定的 GRPO 訓練配方,結合遮蔽式重要性取樣(masked importance sampling)與稀疏權重差值更新,讓團隊能在碎片化、異質的 GPU 叢集上執行非同步強化學習,將 rollout 成本降低 15%。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Jason Mancuso 在 Modal 負責 AI 基礎設施,他主張:對於任何已經在生產環境跑代理(agent)的團隊來說,用強化學習微調代理模型已經變得可行;而把基礎模型當成可替換的靜態後端,是一種註定失敗的策略。這場演講大部分時間花在穩定非同步強化學習的機制上——一套建立在 GRPO 之上的四部分配方——以及 Modal 的非常規做法:把推論 GPU 放在訓練叢集之外,橫跨多家供應商與多種 GPU 型號。「橫跨全球」這個標題框架在整集裡佔的比重比字面上小得多;主體是訓練配方的工程細節與基礎設施的經濟帳。
Mancuso 的立場是賣基礎設施的廠商,所以他關於穩定性與成本的說法帶有這層利益。讀者應該帶走三件事:為什麼強化學習比監督式微調更適合會分岔的代理軌跡、讓非同步強化學習能撐過過期 rollout 與硬體不匹配的具體技術,以及把推論打散到較便宜 GPU 上的成本論證。
強化學習勝過 SFT,因為代理會分岔,而 SFT 只看得到一條路
Mancuso 的核心技術論點是:對代理而言,監督式微調(SFT)很脆弱。SFT 用生產環境錄下來的軌跡訓練,但代理的一次工作階段是一棵由回合數決定的可能分支樹。用某一條錄製軌跡訓練出來的模型,部署時會遇到它從未見過的分支。強化學習不同,因為模型在訓練過程中會探索這些分支——「至少這是我們的期望,」他說——而這種探索正是人們說強化學習泛化能力更好時所指的意思。
他也重新定義了進入門檻。團隊以為後訓練很難,但 Mancuso 主張,一個生產環境的代理部署其實已經具備了要素:某處正在跑的代理框架(agent harness),加上某種形式的變更管理——評估、A/B 測試,或任何等效的東西。這兩者合起來就構成一個強化學習環境。缺的那一塊是高品質的任務,他說這些最好從線上生產軌跡中以合成方式挖掘,具體做法是找出代理失敗的地方,圍繞這些失敗建構任務,讓微調有機會改善產品。
他列出客戶之所以要微調的三個理由:
- 可靠性 SLO。 需要可靠性保證的部署必須自己掌握推論,而現成的開源模型未經調校品質就會下滑。
- 專有資料。 有些資料集不存在於任何預訓練集中,代理卻必須對它推理並採取行動;Mancuso 說 Claude 和 GPT 在這些任務上「根本完全跑不動」,於是微調開源模型成了唯一選項。
- 差異化價值。 愈來愈多企業願意垂直整合整條堆疊,這在今日已以「每美元任務智慧」競爭的產業最為常見,例如程式開發。
他也承認那個讓工程師遲遲不肯買單的反方論點:每一代新的前沿模型都勝過上一代任何可調校的模型。他的回應是:長期趨勢有利於自己掌握整條堆疊。
四部分配方讓非同步強化學習穩定下來
強化學習的機械迴圈是:取樣器(跑著待訓練模型的推論 GPU)透過代理框架在環境中產生 rollout,訓練器消耗這些 rollout 並以梯度下降更新權重,新權重再廣播回取樣器。數學上偏好這個流程循序進行,但那樣會浪費閒置算力。讓兩邊持續、非同步地跑,能把 GPU 塞滿,卻引入了過期(staleness):rollout 由 V1 版模型產生,而訓練器已經在 V3 版。
第二種不穩定純粹在系統層面——訓練器以為自己在訓練的東西,與取樣器以為自己在跑的東西之間存在細微行為差異,於是兩邊以為自己從同一分佈學習,實際上並不是。
Mancuso 的配方從 GRPO 出發——這是 DeepSeek 為 DeepSeek R1 提出的方法,他稱之為語言模型強化學習的基石——再加上三項修正:
| 技術 | 修正什麼 |
|---|---|
| 遮罩重要性取樣(masked importance sampling) | 逐 Token 的不匹配,來源包括系統層面差異與過期——舊版模型可能取樣到不同的 Token,產生差異極大的比率 |
| 分數中心化(score centering) | 訓練過程中在權重裡累積的漂移,超出逐 Token 修正的範圍;它建構一個隨漂移累積的項並將其移除 |
| Top-P 取樣搭配遮罩重放(mask replay) | 落在機率質量前段之外的罕見、很可能有害的 Token;若不修正,質量不匹配「基本上可以是災難性的」 |
他提到一個數學上的紅利:在分數中心化之下,Top-P 取樣讓漂移修正變成精確而非近似。
消融實驗跑在 Qwen 3.6 35B(MoE)上,以程式環境訓練,並在 Stable Bench Pro 與「hard 51」子集上評估。把所有技術合在一起,訓練穩定性遠勝任何受測的替代方案。
Modal 用稀疏權重差值把推論 GPU 移出訓練叢集
Modal 聚合了約 15 到 20 家供應商的容量——所有超大規模雲端業者再加上一批新興雲端(neocloud)——並負責 GPU 健康與可靠性。這有助於可靠性、彈性排程與算力短缺,卻也把算力池打碎。排連續叢集在四到八個節點以內很容易,到了 16 或 32 個節點就「相當痛苦」。在代理強化學習裡,這傷害特別大,因為比例大約是每顆訓練 GPU 配兩顆推論 GPU,等於整個叢集約有三分之二閒置在推論上。
突破口在於:強化學習的權重更新極度稀疏,儘管完整權重又稠密又龐大。拿第 T+1 步的模型減去第 T 步,得到的差值稀疏 100 到 1,000 倍,用現成壓縮法可再縮小 1,000 倍,用於訓練器到 rollout 引擎的通訊。這就讓推論可以跑在叢集之外。在 Qwen 3.6 那次執行中,訓練叢集落在 GCP,推論 GPU 則跑遍 Modal 橫跨各家超大規模雲端與新興雲端的整個機隊,且沒有帶來任何效能劣化。
flowchart TD
A["訓練叢集(落在 GCP)"] --> B["稀疏權重差值,1000 倍壓縮"]
B --> C["橫跨 15-20 家供應商的 rollout 機隊"]
C --> D["B200 池"]
C --> E["H100 / A100 池"]
C --> F["BF16 的 H200 池"]
C --> G["FP8 的 H200 池"]
D --> H["收集到的 rollout"]
E --> H
F --> H
G --> H
H --> A
異質 GPU 帶來的不匹配被配方吸收,rollout 成本還降了 15%
Modal 也把 rollout 機隊打散到不同 GPU 型號,因為客戶想要各種不同的 GPU。每一種型號都增加不匹配:訓練器在 B200 上、rollout 在 H100 或 A100 上,會在核心(kernel)與數學運算上看到硬體層面的差異,傳統上這會讓訓練不穩。Mancuso 展示了一張訓練過程中各 GPU 型號請求數的圖,顯示配方能處理這種情況。他聲稱不匹配程度可達四到五倍,而獎勵與梯度範數的訓練穩定度仍與同質情況(B200 訓練搭配 B200 推論)相當,稱這「有點前所未見」。
經濟上的回報:整段執行的 rollout 成本便宜了 15%,因為 B300 這類高階 GPU 的需求讓價格居高不下,而較便宜、需求較低的硬體可以拿來跑 rollout。這個數字並未針對個別 GPU 做推論調校——只是每種 GPU 套用現成配方。Mancuso 說,若針對每個部署最佳化,例如採用不同的量化等級,還能再便宜許多。
H200 的例子很具體:Modal 跑兩個 H200 池,一個用 BF16(最安全),一個用 FP8。修正機制足以淹沒即使激進量化帶來的不匹配,仍能從量化後的 rollout 中學習。
「基本上這顯示,即使不匹配程度高達四到五倍,訓練獎勵、梯度範數等一切都跟同質情況一樣穩定地訓練。」
這次發布建立在 Miles 與 SGLang 之上,原始碼即將釋出
Modal 已發布一篇技術細節完整的部落格文章,並表示原始碼「很快」就會釋出。整套堆疊建立在強化學習框架 Miles 與推論引擎 SGLang 之上。Mancuso 也提到,Modal 大約在演講前一到兩週(以 2026-11-09 的發布日期推算,約為 2026 年 10 月底至 11 月初)將叢集功能正式推出(generally available)。
掌握整條堆疊,因為跑代理堆疊的競爭者一定會
Mancuso 的結尾論證是策略性的。要與其他跑代理堆疊的公司競爭,企業必須掌握整條堆疊,或至少每一層都建立能力。多數工作傳統上停在代理框架,但在一個高度競爭的產業裡,橫跨訓練、推論、環境與框架的垂直整合很重要。他舉程式開發為最清楚的例子,並預測隨著領域成熟,這個模式會擴散到其他產業。
「你應該在強化學習中擁有自己的代理。而現在這真的做得到,因為科學問題已經被解決,也有非常好的工具與非常好的基礎設施讓你做到。」
值得留意的張力在於:這個結論同時也是廠商的推銷詞。穩定性主張建立在 Modal 自家的消融實驗與一張未具名的圖上,15% 的成本節省則是單次執行的結果。更強、更具可攜性的洞見是配方本身——遮罩重要性取樣、分數中心化、Top-P 遮罩重放——Mancuso 說這反映的是過去一兩年強化學習科學整體的成熟,與是誰的 GPU 在跑 rollout 無關。