少有的同時做過 Agent、多模態和具身的人 | 對談前混元多模態 RL Infra 負責人淏楠

王淏楠認為，具身智慧真正值得投入的是「生成 action」這條技術路線，而非繼續做影片生成；他在 2026 年 10 月加入一傢俱身公司擔任基模與預訓練負責人，此前曾任騰訊混元多模態團隊的 RL infra 負責人，並在 MiroMind 做過 language agent。這集對話大部分時間花在三段技術路線的比較上：Agent 與多模態的取捨、影片生成後訓練為何難做出 R1 時刻、以及 GPT-6 Astra 出現後具身廠商該如何重排大腦與小腦的分工。標題所稱「同時做過三者」只是他履歷的背景，真正撐起節目的是他對各條路線經濟性與工程可行性的判斷。

他的發言價值在於跨路線的第一手經驗：他做過 Agent 的 middle training 與 SFT 造資料，在混元做過 diffusion 的 RL infra 與 UniRL，現在親手做具身預訓練。讀者可以從中得到幾個可操作的判斷：影片生成的瓶頸在資料而非 infra、Astra 對具身的衝擊在於它能把動作輸出成有物理意義的向量、以及具身小廠的壁壘在硬體繫結與軟蒸餾資料管線。

影片生成的瓶頸是資料，不是 RL infra

王淏楠的核心判斷是：影片生成目前更拼預訓練，後訓練的 RL 並沒有出現 language 那樣的 R1 時刻。2026 年初混元團隊曾判斷影片生成存在 R1 時刻，做了半年後發現「並不存在比較 efficient 的 scaling law」，即使加上 caption 改寫也不行，能力提升仍主要來自預訓練那一段。他提到據他了解位元組的後訓練是 work 了的，但大部分公司多模態的 RL 還沒 work。

他由此推出競爭格局：這是巨頭效應更明顯的賽道，因為 infra 便宜且開源做得好，「弄個十來個比較有經驗的同學兩個月的時間都能推到一個相對 reasonable 的水平」，但 data 沒人開源，只能靠自身積累或花錢，最終「得在那種有產品的地兒做這東西才能做得成」。這也是他離開這條線的原因：這個方向更吃資本與大團隊，而非一波厲害的人就能幹起來。

對當下模型水平的評估，他把 Sora 2.5 放在「半山腰」：若滿分一百，現在約六十分。他認為 H3 的模型能力大約在 2.0 水平，而 2.5 的精細控制能力更強，能插入大量 reference image、reference video、audio 與 storyboard 式的人物多視角小圖，並按圖生成，這種可控性對產品化很關鍵。

關於抽卡，他認為會長期存在但意義會變：現在的抽卡是質量問題，未來模型質量都很好，抽卡變成 taste 分歧——你和我對什麼是好片子的偏好不同，所以要選。他預測未來半年到一年會出現一款成熟的 harness 或互動式中間層，套在具電影質感的模型上，把使用門檻與成本拉下來，形成既是生成者又是消費者的平臺。他也提到 AI 短劇《無敵超人》值得一看，但認為其中加入了很多專業人為因素。

即時互動仍卡在一致性，真 real time 與世界模型都還遠

曲凱把即時互動分成兩類：偽即時互動是生成速度快於消費速度，真 real time 是能對對話即時反應。王淏楠認為大家目前都還在第一條路線，且第一條也並不成熟，模型效果崩得厲害，典型表現是鏡頭轉回來後背景或人臉變了，「看起來就有點像那個盜夢空間的那種感覺」。

他列舉了加速的手段：scheduler 降噪技術、infra 層的跳層（他稱之為 tcash，跳過部分層的降噪）、以及蒸餾，包括宋陽團隊做的一步生成方案。但這些手段都更容易讓模型崩。他的取捨判斷是「保質量比保 real time 更好」。他對真 real time 偏悲觀，理由是模型為了更好的 consistency 越做越大，天然更慢。他自稱用過也訓過那類即時互動模型的後訓練，體感上「還是很慢的」，因此認為外網那波熱度以 PR 為主。

世界模型方面，他認為做 video world model 的與做具身的是兩撥人，前者 given 一個 action 就往後生成一段，最近有些結果像塞爾達在地圖上閒逛，但影片質量不行，圈子最近也不太火。他提到另一波衝擊來自白膜加更小底模做渲染的方案，看起來更務實。對李飛飛賣公司一事，他的解讀是：「如果真的能做好整個世界的模擬，李飛飛站在這個圈子最前沿，他如果看到了他為啥要賣公司？他缺錢嗎？肯定不缺。」他認為市場情緒把大家架住了，而做 research 的人一直知道這事很難。

Astra 讓具身第一次看到可落地的資料飛輪

這是全集對具身從業者最有價值的一段。王淏楠解釋了為什麼過去 GPT 系列對具身圈震動不大：具身模型本質上要輸出一個低維、每一維都有準確物理意義的向量（關節角），而讓 language model 用 autoregressive 方式吐出「零點九六逗號、然後一串數字」再解析成電機轉角，既不合理也不 work。Astra 的不同在於它有很強的理解能力，且能按指令輸出一段真正有意義、能操控的序列，並且是特意基於具身資料訓過的。

他描述 Astra 的一個關鍵能力：面對非 Franka 這類通用機械臂、而是靈巧手這類不準的硬體時，它能動一個關節、看視覺效果，反推自己的輸出與哪個關節的變化對應，在多輪互動裡看明白視覺與輸出的關係，因此能動得很好。他推測這種能力是從 Blender 這類 3D 編輯任務遷移過來的——操作一下、看渲染的 3D 效果怎麼變，形成因果關係。

他提出的落地管線是把大模型當成 speculative decoding 裡的大模型：

flowchart TD
    A["自研 7B–16B 小模型操作機器人"] --> B{"是否快失敗"}
    B -- 否 --> C["繼續操作並留存資料"]
    B -- 是 --> D["Astra 接管完成剩餘動作"]
    D --> E["error recovery 軌跡迴流"]
    C --> E
    E --> F["迭代訓練小模型，成功率 60% 提升至 80%"]
    F --> A
    G["數採員兜底，一人盯十臺而非一臺"] --> D

他的原話是「GPT 操作機械轉角是不划算的，太慢了太費了」，所以大模型只負責 approve 或接管，失敗後如何回來的 error recovery 資料「是資料裡非常有價值的」。這套邏輯讓成功率提升、GPT 呼叫量下降、人的負擔減小同時發生，scaling 才真正成立。他認為 Astra 某種程度上算具身的 GPT-3 時刻，甚至能替代部分數採員。

具身廠商買不起大腦，小廠壁壘在硬體繫結與軟蒸餾

王淏楠直言具身廠商的卡「可能你後邊加倆零兒吧，得具身廠商的和那個大模型廠商那個卡的量差倆零兒」。他觀察到做巨大模型這條路主要是幾個大廠的組在做，初創基本不做，因為沒有技術積累、基因、卡和錢。他認為具身公司講道理應該擁抱 Astra，最後大機率變成兩個系統：上面套一個大模型，底下套一個自研小模型。

他對小廠路線的表述很具體：做摳底蛋（自研本體與小模型繫結），把 7B 到 16B 的模型在自己的硬體上調得更好，對接外部大模型，盡快落地。「要不然變成製造業了對吧。」落地場景他舉了酒店疊被子：地面是平的，可以用輪式而非雙足，場景既非純標準化也非完全非標，是能做的。

關於蒸餾，他區分硬蒸餾與軟蒸餾。硬蒸餾是讓 Astra roll 出完整 trace 再學，他認為具身裡成本過高、沒必要；軟蒸餾就是上面那套管線——Astra 只接管失敗的一兩步，把機器人帶回正常軌跡，量小、成本可控、價值高。他判斷這種軟蒸餾大機率由具身廠做而非大廠，因為具身廠好布裝置、好在數採裡布這個東西。

真機資料仍是主線，模擬只在 sim 做得極好時才翻盤

對資料路線，王淏楠的判斷取決於誰在用。對大模型廠商，模擬資料很有價值，它是一個像 game 一樣的 environment；對具身廠商，最後 care 的是能不能操控自家機型，所以要用 exactly 那個機器的資料去踩 trace，失敗的加 dagger 讓人接管繼續。

他舉了一個具體例子說明模擬 gap：抓瓶子這個動作，兩個手指也能捏起來，但真正想要的是五個手指貼合瓶身抓起來；純模擬環境可能最後用中指和食指捏起來，不符合想要的效果。因此他認為模擬資料的價值不會很快下降，除非模擬環境做得極好，那時 real to sim to real 才真的能 scaling，整個具身路線要重新考慮——但目前模擬非常難做，摩擦係數等物理引數都很難處理。

Agent 智力已夠用，缺的是場景覆蓋

王淏楠認為 Agent 的智力水平完全 ok，code 能力每次提升已經很難準確說出好在哪個點，因為大部分情況下已超過 Agent 研發人的平均水平。他認為接下來重要的是讓大家更好用，也就是 GOI 這條線，核心是「你怎麼讓大家用得上」。他覺得開發的場景還不夠多，例如 game agent 就做得少，下一個爆點可能要等 Astra 之後才知道。

他為什麼在估值高點加入具身

曲凱直接問：具身估值已經很高，Astra 又衝擊了大腦的故事，為什麼此時加入。王淏楠的回答是偏好而非短期利益：影片生成「不是硬核生產力，它是 for 精神享受的」，他想做能影響生產力、把 AI 帶到物理世界的方向，自稱想做 Facebook AI 那類的事。他坦言若純看短期利益，當年就該做 Agent——TikTok 曾給出相當可觀的 package 讓他在美國做 Agent，套在北美 TikTok 影片上的一套 Agent 產品。

他也談了 AI for Science 為何沒選：這個領域是兩撥人在玩，一撥是搞 science 的人用 AI 解 PDE、ODE，例如 WiFi 訊號覆蓋最佳化、流體力學；另一撥是 AI 的人幫化學做實驗，但需要濕實驗工廠，某種程度上和具身一樣需要線下能力，他認為第二波還有點早。

值得追蹤的幾條線

這集最值得記住的分歧點是：王淏楠把具身的希望寄託在 Astra 這類通用大模型的能力溢位上，同時又認為具身廠商必須自建 7B–16B 小模型與硬體繫結，兩者並不矛盾但張力明顯——如果大模型持續變強，小廠自研小模型的價值視窗有多長，他沒有給出答案。另一個未解的張力是世界模型：他一邊說 WSD 在公司裡「沒落地」、李飛飛賣公司讓圈子迷茫，一邊又承認若模擬環境真能做到極好，real to sim to real 會讓整個路線重排。影片生成那條線則留了一個明確的觀察點：未來半年到一年是否真會出現他所預測的互動式 harness 或 studio 產品，以及位元組之外是否還有公司的多模態後訓練能 work。