直擊機器人資料工廠：Mecka 的 Josh Gao 談如何讓人類成為感測器以訓練機器人

Mecka AI 創辦人暨執行長 Josh Gao 主張，機器人領域的資料受限情況與大型語言模型（LLM）當年截然不同：LLM 從來不缺資料，機器人卻極度缺資料。他認為，這個產業不會靠單一突破直達通用機器人，而是靠一項一項解鎖商業任務、逐步累積。在與主持人 Sonya Huang 對談的 45 分鐘裡，兩人主要談的是經營一座機器人資料工廠的運作機制與經濟帳——用自製硬體把人「感測化」、依物理勞動的分類體系招募企業、過濾造假、處理數百 PB 的資料；此外還有 Gao 對新興訓練資料配比的看法、機器人會先在哪裡落地，以及這個領域距離特斯拉式的資料飛輪還有多遠。標題所強調的「把人感測化」只是其中一條主線，整集節目的主體其實是營運、資料品質與部署順序。

Gao 是從金融科技與餐飲服務軟體轉進機器人領域的，他的共同創辦人則做過一款穩定幣、後來賣給 Coinbase；兩人都來自加拿大，也自認深受科幻薰陶。這種局外人的視角，正好體現在本集最有價值的內容上：以第一原理拆解，要大規模製造物理世界的訓練資料，實際得付出多少成本、做多少事；以及為什麼資料最容易蒐集的家戶場景，反而是最難部署的地方。

機器人沒有網際網路的免費冷啟動，資料只能自己製造

Gao 把核心問題定調為「缺少冷啟動」。LLM 的預訓練搭了網頁爬蟲的便車，靠的是數兆 Token 的免費人類文字；機器人資料卻是由「畫素、動作與邏輯」組成，一切都得從零開始創造、處理、再把關品質。Mecka 的生意就是：自製硬體（感測化穿戴裝置）、經營蒐集作業（消費者端加上 B2B 夥伴）、掌握後處理與品質關卡，最後把產出的資料集授權給機器人基礎模型實驗室。

他很謹慎，不把這個領域說成從零起步。投入 VLM 與世界模型的成果可以沿用，影片模型也能被教會生成更符合物理現實的場景。至於資料量能否達標，按他的說法，取決於哪一個商業應用場景能在多大的資料規模下被解鎖——先從簡單的取放任務開始，長尾任務則要等到「資料量再大上好幾個數量級」之後。

公司的對外定位刻意帶點玩心：官網上寫著 Mecka 正在「教機器人認識碳基生命」，這句話是 Gao 在公司發出第一則推文的前一晚自己寫的。他的理由是：人腦只耗 20 瓦就能運作，人體還能自我修復，所以當機器人愈來愈泛化，最後的疆界必然是有機與生物——這個母題他一路追溯到 Asimov、《戰爭遊戲》（*Ender's Game*），以及《銀河便車指南》裡那顆「行星即生物電腦」的結局。

資料工廠本質上是硬體、物流與品質關卡的生意

Gao 描述的營運，比外界想像的辛苦得多，這也是本集資訊密度最高的一段。整個堆疊分四層：

| 層級 | Mecka 做的事 | 具體說明 |
|---|---|---|
| 硬體 | 設計並生產市面上買不到的感測化裝備 | 附鏡頭的棒球帽、連線各配件的中央集線器、可量測施力的觸覺手套 |
| 蒐集（消費者端） | 手機 App，任何人註冊自己的職業後即可收到任務序列 | 早期試辦招募「中國大媽大叔」拍攝煮飯、打掃；任務例如整理臥室、做早餐 |
| 蒐集（B2B） | 依涵蓋所有人類物理勞動的分類體系招募企業 | 烘焙坊、PCB 產線等場域 |
| 處理 | 品質關卡、電腦視覺、上傳基礎設施 | 在多個營運據點架設 100 Gbps 上傳線路；累計處理「數百 PB」的資料 |

硬體迭代是最大的瓶頸。Gao 說，市面上沒有任何現成方案能可靠量測日常施力，並直接轉換成可用的訓練資料集，所以 Mecka 得先跑完三到四輪產品週期的工程迭代，才能把產能放大到數千個家庭與企業。他也提到，公司早期試過好幾種模態——手機 App、UMI 資料、「什麼都試」——最後才收斂到「把人感測化」這個大方向。

在需求端的佈局上，Gao 說 Mecka 會用一張涵蓋各種職業與產業的熱度圖來追蹤多樣性，哪個類別太薄，就主動去招募。（Huang 開玩笑說，這場 podcast 本身就像一場蒐集作業；Gao 也順著演下去。）

造假與不斷上移的品質門檻，是最被低估的成本

被問到為什麼送進來的機器人資料有那麼多被打回票，Gao 指出兩股力量。第一是多樣性飽和：大型倉儲式遙操作工廠讓整個領域學到，重複性機器人資料累積到某個門檻之後就不再有用。第二點更有畫面感——造假。因為 Mecka 是在創造還不存在的資料，而不是在過濾網際網路，自然會吸引「非常有創意的人」，包括有人錄下自己在麥當勞打工的 YouTube 第一人稱影片，當成自己的作品交上來。

他的結論是：光靠關卡篩選不夠，你必須親臨蒐集現場，設計出能獎勵真實貢獻的誘因機制。品質的判準是不斷移動的靶——真實世界的邊角案例極端得很，「我們每週都會學到上週還不成立的新品質與多樣性知識」——所以處理引擎必須能敏捷重建，異常也要能快速上報。

第一人稱影片是衝量的主力，施力資料則是仍缺席的模態

Gao 把第一人稱（egocentric）資料定義為人類執行任務時的第一人稱影片，並說明最初的賭注：遙操作原本是機器人資料的主要來源，卻難以規模化；而人類與人形機器人長得相似，因此人類可以組成一支類似特斯拉車隊的「車隊式學習」隊伍。機器人是以第一人稱視角看世界，這個視覺落差，可以靠讓它們觀看人類的第一人稱互動來補上。

施力，則是影片補不上的缺口。用腕戴攝影機觀察手與物體的接觸時間，按 Gao 的說法是「取巧」的替代方案，終究無法得知拉開一張椅子、轉開一個瓶蓋究竟需要多少牛頓的力。Mecka 的解法是觸覺手套，他說這正是公司為了直接回應基礎模型實驗室的需求而持續開發的產品之一。

Gao 描述，目前的訓練資料配比共識，是過去一年才逐漸成形的——研究人員起初堅持只用單一模態（「只用 UMI 資料」、「只用第一人稱資料」）。他給出的大致配方是：

• 約 100 萬小時的人類資料，涵蓋第一人稱與其他模態
• 數萬小時的 UMI 資料
• 數小時的最後一哩遙操作資料，以及領域內、同分布的示範資料

他強調這是一鍋「資料湯」，配方會一直變：觸覺資料還沒加進去，模擬資料也將加入。談到規模，Gao 說這個領域已進入「數百萬小時」的階段——比起兩年前 Ego4D 約 4,000 小時是一大躍進——但特斯拉花了十多年、動用數百萬輛車，只為解決兩個自由度（加速與方向），影片時數遠遠超過區區數百萬小時。機器人光是一隻手就有數十個自由度，距離那個量級「還差好幾個數量級」。

部署從受限制的工業任務往上爬，而不是從家庭開始

Gao 不接受「機器人要嘛能用、要嘛不能用」這種二分法。商業應用場景會一項一項解鎖，而每一次解鎖都能挹注更多資料。家庭雖然是資料最容易蒐集的地方，卻是最難部署的環境——他舉例，光是「機器人不會壓到嬰兒」這類安全基準測試就夠棘手——所以早期的成果會出現在有既有 SOP、可以逐步爬坡的目標導向任務上。

他的推進順序是：先做工業清潔這類「主題式機器人」；接著是一到兩年內可望實現的、傳統機器人解不了的產線取放與包裝；再來是摺衣服——Mecka 在這上面花了超過一年半，他說「一年內絕對會被解決」；人形機器人則是最受歡迎的終局，而不是開場戲。他也提到，服務型機器人早已在中國與東南亞的飯店大規模部署——從櫃檯送物到房門口——直到現在才開始在北美普及。

至於 FSD 式的資料飛輪，Gao 說得很直白：「還早得很。」飛輪要等到部署現場的失敗與修正資料開始迴流才會轉起來，而這要多久，取決於任務領域何時飽和。等到飛輪真的轉起來，他預期 Mecka 的樣貌會不一樣——生產更高階的「米其林星級」資料、教機器人處理邊角案例，並扮演部署平臺的角色：蒐集領域資料、做後訓練，再以專人服務的方式把企業一路帶進機器人遍地的世界。

掌握物理世界通路的，可能是系統整合商，而不是模型實驗室

被要求把 LLM 的部署套路（垂直應用、基礎模型實驗室自己進市場、以及服務／DeployCo 大軍）套到機器人領域時，Gao 說 Mecka 兩種都押。他預期會出現機器人原生的系統整合商：這個行業傳統上是低毛利的安裝生意，但如今裝上去的機器人能隨著資料迴流而愈來愈強——「你上週裝的那臺機器人，能不能做出幾天前它還認為不可能的事？」

他最看好的垂直類別有三：既有大量傳統機器人、環境受控的工業機器人；具備輕度操作能力的飯店服務與配送機器人；以及人類根本做不到的任務。公司全員大會的玩笑是：如果 Mecka 有天幫忙部署了一臺去小行星採礦的機器人，「那我們大概做得還不錯。」

對於「苦澀教訓」（bitter lesson）的憂慮——也就是 AGI 實驗室終將碾壓純機器人公司——Gao 態度持平。他肯定大型實驗室有勇氣在資訊不完整的情況下就敢擴張資料規模，也預期全模態（omni-model）路線會廣泛泛化：把施力、畫素、甚至氣味都當成觀測輸入，輸出動作、語音或控制訊號。但他主張，專門的機器人基礎模型仍可能在特定任務上以四個九（99.99%）的可靠度勝出，所以結局會是分工：通才型模型擅長很多事，垂直型模型則把少數幾件事做到極致。

看 Federer 打球，不等於會打 Federer——目前還不是

Huang 提出標準的反駁：看幾百萬小時的網球影片，也學不會打贏 Roger Federer。Gao 用 AlphaGo 來回應。第一階段是對專家棋局做大規模行為複製；第二階段是在圍棋規則下自我對弈，於是下出了第 37 手。機器人缺少的正是圍棋規則那樣的對等物，因為它的「棋局」是整個物理世界，而目前沒有任何模擬器能重現真實世界的豐富度。因此第一人稱資料有兩個用途：現在用來打好基礎物理與行為複製的底子，未來則用來餵養世界模擬器。

他預期自我對弈會以混合方式進行——一部分在模擬中、一部分在實體世界——而世界模型之所以有價值，正是因為它能讓機器人「夢見」杯子碎裂，而不必真的摔破，只要能善用網際網路與 YouTube 的畫素預測、並轉譯回動作軌跡就行。他說，把目前的資料配比放大一個數量級，就能解決許多受限制的任務；但那種開箱即用、能應付天候與真實世界混亂的即插即用機器人，不會是終局的樣貌。終局是全模態，他也點出嗅覺感測雖然非常早期，但確實可行。

EgoVerse 與開放聯盟的賭注

Gao 說明，EgoVerse 是一個與學界共同創立的聯盟，成員包括 Dan Fei 與 Ryan Simmer 這些第一人稱資料的早期信徒，Mecka 則是早期貢獻者之一。Mecka 貢獻了大量跨企業、跨產業、跨家庭環境的第一人稱資料，以及所有動作軌跡資料、後處理、電腦視覺、品質關卡，還有平臺與網頁工具（資料載入、基礎設施）。他表明的動機很簡單：這個產業落後太多，分享工具、資料與經驗，能把所有人都往上拉。

荒謬的未來，才是重點

最後回到他的科幻根底，Gao 提起 Kawasaki Corleo——那隻機器豹狗馬，它的預告片就掛在 Mecka 紐約會議室裡——還有他和共同創辦人曾經說服一位投資人（Anas），讓對方相信一段女子與男孩騎著它穿越草地的影片，是他們小時候的畫面。他想要的機器人未來，就是那種荒謬感與古怪造型。他的預測是：十年內機器人數量會比人類「多上很多很多倍」——被 Huang 追問後，他給出 1,000 億臺以上，而豹狗馬還要「再高一個數量級」。

節目最後，Gao 送給 Huang 一尊 Corleo 公仔當禮物，這是 Mecka 規劃中的公仔與貼圖系列之一。

值得持續追蹤的未解矛盾，是 Gao 始終沒能完全自圓其說的那一環：他一邊說需要的資料量是今日數百萬小時的數個數量級之上（對照特斯拉花了十多年、數百萬輛車才解決兩個自由度），一邊又說要靠一項項商業解鎖來支應這些資料。他的答案——每解決一個受限制的任務，就付得起下一批資料——是對「順序」的押注，而不是證明。相關的開放問題是：當貢獻者的成本被競爭侵蝕，Mecka 的護城河還守不守得住？Gao 的辯護是，貢獻者分潤只佔端到端資料價值的一小部分，真正的資產是硬體、營運，以及可規模化驗證的品質。觸覺資料、模擬與世界模型能否及時進入配比、縮短時程，則是接下來要盯的變數。