少有的同時做過 Agent、多模態和具身的人 | 對談前混元多模態 RL Infra 負責人淏楠

這期的嘉賓淏楠非常「折騰」。他讀過五個大學，讀著覺得沒意思就換，也是少有的同時做過 Agent、多模態、RL 和具身的人，而且總是做一些逆勢而為（非主流）的選擇： 他曾在陳天橋和代季峰兩位老師的 MiroMind 工作，是最早一批做 Agent 的人，卻在 Agent 最熱的時候放棄更豐厚的 package，轉向多模態。在混元負責多模態 RL infra、主導推出開源多模態強化學習框架 UniRL 之後，他最近又換了方向，去了一傢俱身公司負責模型訓練。其實，Astra 的出現給具身行業帶來了不小的震動，也似乎抹平了各家此前在「大腦」上積累的優勢。淏楠在此時入局，總有那麼一絲「49 年加入國軍」的意味。 不過，這些選擇看似很跳，但背後的思考一脈相承，既關乎個人志趣，也有對技術發展和未來空間的判斷。所以從 Agent 到多模態再到具身，一路做下來，淏楠收穫了什麼？這幾個方向的實際進展，與外界的感知又有哪些不同？前段時間很火的 Minimax H3、GPT Astra，到底會帶來哪些改變？這期播客，我們就沿著他的經歷聊了下來。 聊到最後，淏楠談起具身很興奮。現在入局具身，可能不但不是 49 年入國軍，反而恰好趕上了具身的 GPT-3 時刻？ 【人類博物館】 導遊：曲凱，42章經創始人 54 號珍藏：王淏楠，前騰訊混元多模態 RL infra 負責人、主導開源多模態強化學習框架 UniRL，曾在 MiroMind 參與 Agent 研發，現於某具身智慧公司負責基模預訓練。 【時光機】 Part 1 從 Agent 到多模態 02:03 為什麼會從在 MiroMind 做 Agent，轉去在混元做多模態 RL infra？ 06:13 國內外 RL 的差距到底在哪？ 07:45 Agent 和多模態的關係其實可以很緊密 08:56 做 Agent 和做多模態，其實都是圍城 11:32 大廠不太能做具身？ 12:37 多模態最後只有兩條變現途徑 Part 2 聊聊影片生成 14:11 Seedance 到底為啥這麼好？ 15:14 多模態的競爭可能沒那麼激烈？ 16:26 影片生成現在發展到什麼程度了？ 19:20 「抽卡」依然會存在，但概念可能會發生變化 21:37 影片生成繼續發展下去，可能會解鎖什麼樣的機會？ 22:22 MiniMax H3 到底什麼水平？ 23:54 即時互動的技術真的成熟了嗎？ Part 3 從多模態到具身 27:45 好多人做世界模型都做迷茫了… 30:55 做具身的兩種正確路線 32:22 為什麼 Astra 給具身圈子帶來了比較大的震動？ 37:27 聊聊具身訓練的 reward 和資料 40:12 具身的「大腦」，最後會變成大模型廠商的競爭嗎？ 41:59 在現在這個時間節點去做具身，是不是 49 年入國軍？ 45:24 Agent 開發的場景還是不夠多 46:42 多模態還有創業公司的機會嗎？ 47:38 具身裡可能迎來了 GPT-3 時刻？ 【 The gang that made this happen】 製作人：陳皮 剪輯：二琳、陳皮 片頭：Mondo Bongo - Joe Strummer & The Mescaleros 片尾：Alpine Decline - I Got Up (Just Like John Sinclair Told Us To) 在小宇宙檢視該單集文稿