跳到正文
20VC(youtube.com)· Harry Stebbings·· 6 小時前精選AI 評分85

為何機器人產業規模將比編碼代理大 100 倍,且推論市場將達 10 兆美元 | Naveen Rao

為何機器人產業規模將比編碼代理大 100 倍,且推論市場將達 10 兆美元 | Naveen Rao

AI 導讀

Naveen Rao 主張能源是 AI 最關鍵的硬性限制;隨著智慧本身商品化、推論利潤被壓縮,價值將流向硬體與資料策展的擁有者,純軟體投資人將首當其衝。

🎙️

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文 · 原文

Naveen Rao 是 Unconventional AI 創辦人,先前創辦 Mosaic ML。他主張 AI 的關鍵瓶頸是能源,而非晶片或模型,並認為業界會在幾年內用盡電網的閒置容量。對談橫跨能源建設、他為何認為硬體才是整條堆疊中真正吃下利潤的一層、從產出 AI 內容轉向驗證 AI 內容的變化,以及他為何預期機器人市場的規模將遠超代理式寫程式;標題中的 10 兆美元推論市場預測,只是這場關於運算架構、資料策展與投資的廣泛討論裡的一句話。

Rao 以 13 億美元把 Mosaic ML 賣給 Databricks,如今經營 Unconventional AI。他形容這家公司打造的電腦是以能源效率而非速度為設計核心;他說上一輪募資的估值接近 50 億美元。他同時是晶片設計者與活躍的種子投資人,因此能在同一場對談裡穿梭於矽晶物理、模型訓練課程與創投定價之間。讀者讀完應該能帶走他對電力與運算的具體數字、他判斷 AI 堆疊中各層利潤落點的框架,以及他認為當前市場的震盪只是小波動、並非泡沫的看法。

能源是關鍵瓶頸,閒置容量幾年內就會用盡

Rao 的核心論點是:AI 建設正在消耗一池有限的電網餘裕容量,一旦用盡,產業的擴張速度就會收斂到電廠實際能蓋出來的速度,而那個速度慢得多。他估算一座吉瓦級電廠的成本約 500 億美元,高於半導體晶圓廠的 200 至 300 億美元,並說大家把「吉瓦」這個詞掛在嘴邊,卻沒有真正體會其中的複雜度。美國電網平均輸出約 900 吉瓦,尖峰可達約 1.2 至 1.3 兆瓦,而過去幾年的資料中心成長,主要來自把既有基礎設施的利用率拉高,而非新建電廠。

他的時間表很短。他說,即使採用保守的 AI 成長假設,「我們很快、就在未來幾年內就會沒電可用。」他對外宣佈的建設速度公開存疑:「我聽過有人說,喔,我們一年要蓋 40 吉瓦。不可能。我們從來沒做到過。」一年蓋出 10 吉瓦就算成就斐然,而以每吉瓦 500 億美元計算,那就是 5,000 億美元的工程。

談到中國,Rao 認為中央計畫對大型基礎設施的推動確實是一項優勢——中國在 2023 年前後於總裝置容量上超越美國,此前二十年間建設速度約為美國的六倍,其中大多是燃煤電廠——但他也主張美國在創新的「矛尖」上仍保有優勢,指出 AI 誕生於美國,而中國的實驗室如今做的是真正的創新,不再只是蒸餾。

他認為雙軌電價市場已經成形。表後交易(behind-the-meter)是量身打造的合約,價格遠高於一般電網費率;他認為這很合理,因為一吉瓦的運算力可以賣到供電成本約五倍的價格,因此每度電多付 30–40% 仍有空間。他以 Bloom Energy 在亞利桑那州興建數吉瓦的案子為例,說明這是在測試新發電技術能否延長跑道,其經濟結構與電網截然不同,且目前尚未驗證。

物理層的效率提升已經停滯,剩下的超額報酬在於模型與機器的協同設計

Rao 把電腦效率分成三層,並說最底層已經停滯。物理層——把元件做得更小、切換成本更低,也就是摩爾定律與 Dennard 縮放的領域——每個世代能帶來的效益已經不多。近期的進展大多來自上一層:更小的資料型態,從 32 位元降到 16 位元、8 位元、再到 4 位元運算。第三層是在模型層面強制區域性性、減少資料搬移,這一層幾乎還沒被開發,也正是 Unconventional AI 切入的位置。

心態上的轉變是:模型不再是神聖不可動搖的。「我們的心態是能源優先,意思是我們做的每件事都必須帶來能源優勢,」他說,並以此對照整個電腦運算史——從 ENIAC 開始,一切都在為速度最佳化。ENIAC 全名為電子數值積分與計算機(Electronic Numerical Integrator and Calculator),是美國政府在 1945 年打造,用來比人工計算員更快算出火砲彈道。此後每一個世代,包括 GPU 以比 CPU 更快的渲染速度競爭,比的都是速度,而摩爾定律只是順帶提供了效率。如今這個順帶的好處沒了,效益必須來自把模型與矽晶一起設計。

他的例子是稀疏性(sparsity)。一個考慮稀疏性的模型在標準 GPU 上或許能帶來 5% 的效率提升,但晶片外的隨機存取記憶體限制了上限,因為硬體本來就不是為此設計。若是專為稀疏性打造的機器,能拿到的效益就大得多。他舉生物大腦為例,證明智慧與其載體是共同演化的。

這也是他堅定認為晶片專用化是未來的原因:「百分之百是。」他追溯到塗林最初那篇論文,其明確目標是造出有智慧的機器;業界後來打造的是通用電腦,帶來六十年的生產力,卻偏離了原本的目標。他主張,如今電腦的目的就是提供智慧,而效能指標(figure of merit)就是盡可能高效率、可擴充地執行神經網路。他預期會出現圍繞特定工作負載的極致最佳化,並點名 Etched、Fractal、Olix 與 Cerebras 是這股趨勢的例子。

硬體吃下利潤,軟體與推論層被擠壓

Rao 的堆疊觀點是:智慧的需求幾乎無限,因為世界是競爭對抗的——從細菌爭奪陽光,到多細胞生物,再到民族國家——而智慧就是這場競爭的燃料。創造智慧需要把能源轉換成智慧,而這個轉換就是硬體:晶片、系統、雲端與網路。誰的轉換效率更高,誰就累積更多價值,因此他不認為晶片會商品化。

他對其他層的後果說得很直白。被問到軟體投資人是否需要改變時,他說:「如果你是純軟體投資人,你大概完蛋了。」在他看來,SaaS 從 2010 至 2011 年前後開始享受了一段糖分爆表的時期,因為雲端交付讓推出產品、進攻一億到兩億美元規模的市場變得便宜,市場因此碎裂化。他不認為二十年後軟體還是個巨大的市場,但他也承認,透過軟體加服務交付某種成果的公司——他舉法律領域的 Harvey 為例——是真實存在的一個類別。

層級Rao 對利潤的看法理由
能源已是商品由能源市場定價,表後交易正形成溢價層
晶片/硬體吃下最大一塊能源轉智慧的效率就是效能指標
前沿模型有一些利潤,但不是整條堆疊的利潤半年前推出的開源模型「已經相當不錯」,這是商品化的典型徵兆
推論營運商(Fireworks、Modal、Baseten)利潤被壓縮他們把現成模型對應到硬體上跑;每 Token 價格下滑,只能從同一批矽晶裡榨出更多
傳統 SaaS結構性受挑戰交付摩擦消失,市場碎裂化,利潤被侵蝕

針對推論,他預期每 Token 價格會下滑、基礎設施層的油水會變薄,而硬體層仍保有優勢,因為能源轉智慧還有很大的改善空間。他預測三年內開源模型將承載約 80% 的 Token 流量,但支出上大約是五五波——他把這個結構比作手機:iPhone 約佔出貨量的 20%,卻拿走 80% 的利潤。

他也不認同每家公司都會自建模型的說法。像 Cooley 這樣的大型事務所,有理由用自己的資料做客製化;內布拉斯加的一間小型律師事務所則沒有本錢,會直接買現成的服務。對抗邏輯在此同樣適用:如果競爭對手的大型事務所用 AI 大幅拉高利潤,你必須跟上;但長尾業者不會。

瓶頸已從產出內容轉移到驗證內容

Rao 說 AI 把他自己的研究迴圈壓縮了一個數量級。過去要問一個問題——Unconventional AI 第一顆晶片裡,雜訊如何在四到六個耦合振盪器(一組以耦合矩陣串接的振盪器)之間傳遞——研究團隊得花一兩週建模才能回答。現在他把問題丟給模型、拿到程式碼、檢視、來回迭代,一小時內就有答案。這讓他在同樣時間內能涵蓋的面積大得多。

代價是「AI 垃圾內容問題」(AI slop problem)。太多模型產出是錯的,而且難以查核;他指出,年長者尤其缺乏辨識生成圖片與影片的直覺。在他自己公司裡,瓶頸已不再是產出程式碼、模型、檔案這些成品,而是把每一個成品都收尾驗證。「我認為我們已經把問題從產出移到驗證,」他說。光驗證還不夠,你還得掌握規格、確認最終結果符合規格,因此他把驗證視為端到端流程的一部分,而非獨立的一層。

他對代理自主性的懷疑如出一轍。判斷力要花好幾年養成——神經外科醫師在醫學院之後還要七年,不是因為縫一針很難,而是因為判斷該往哪個方向走,需要看過大量病例。隨機性模型會探索一個可能答案的分佈,總得有東西挑出好的那一個;這個挑選步驟在不同任務上如何運作,理解得還很粗淺,而且決策鏈越長,越可能在看起來仍很穩健的情況下偏離正軌。他預期人們對代理的信任終將超過對自己的信任,但說在那之前還需要好幾次突破。

資料與訓練課程才是真正的護城河,不是模型架構

Rao 主張,大型實驗室的優勢本質上是資料問題。能力的來源與其說是模型架構,不如說是資料策展與損失函式的選擇:預訓練之後交棒給他稱為「中段訓練」(mid-training)的階段,也就是強化學習與監督式微調的混合,而「那個課程……才是真正的秘方」。他不認為資料層會商品化,因為當資料集愈來愈是為寫程式或思維鏈(chain-of-thought)量身打造,價值就會歸於打造這些資料集的人。

他對強化學習的經濟效益很謹慎。以他的衡量,強化學習在每塊錢帶來的模型進步上不如預訓練有效率,但它持續在進步,而且很重要,因為你不可能蒐集到足夠資料、靠預訓練打通世界上每一個任務。強化學習提供可驗證的獎勵——他拿網球發球比喻,你可以測球速、也可以看球有沒有落在界內——讓系統能從自己在一般性任務上的嘗試中學習。

對於 Yann LeCun 的後 Transformer 主張,Rao 同意後 Transformer 的世界終將到來。Transformer 把推理與檢索混為一談:注意力從上下文抽取、取樣多條軌跡,再把看起來最好的那條標記為推理軌跡。他引用「智慧就是你沒有資訊時所做的事」這個說法,並指出大腦不會把一大段軌跡灌進另一個模型的輸入。更有效率、效能更高的演算法將會取代目前的做法。

他對大型實驗室推動典範轉移的能力同樣存疑。在當前的競賽裡,模型晚一個月推出對 OpenAI、Anthropic、xAI 或 Google 都是災難,所以他們承擔不起大風險。xAI 靠著招一組人、把執行做好就快速追上 frontier,正說明抵達那裡所需的深度創新其實不多。更深的賭注——他舉 LeCun 與 Fei-Fei Li 的公司為例——看起來更像新藥開發:由新創承擔大風險,做出苗頭後再由在位者收購。

推論市場以兆美元計,機器人市場還要大得多

Rao 的市場預測很激進,他自己也這麼說。他預期純 AI 模型幾年內就會是兆美元市場,推論市場十年內將達到 10 兆美元。他的推理是 Jevons 式的:把交付一個 Token 的成本砍掉一個數量級,可觸及的用途基礎就會擴張超過十倍,因為這個市場先前是被價格卡住的。

他不接受主持人對機器人的質疑。Rao 預期兩到三年內會出現某些任務可用的原型,五到七年內形成市場,並主張機器人市場會是代理式寫程式的 100 倍大。今天的工業機器人只會照本宣科,執行學過的動作,不會解決新問題;下一世代將能動態解決物理世界的問題——東西壞了,機器會清掉或換掉。他承認用線性直覺去推估指數型發展很困難,而這正是看似遙遠的時間表最後會壓縮的原因。

他的投資姿態也據此而定。他押在技術堆疊而非應用層,並預期模型公司最終會自己做端到端裝置——機器人與模型一起做——而不是分開。被問到若要把錢全押在自己公司以外的一家,他點名 Physical Intelligence,稱讚它把定義好的任務轉換成馬達輸出的工作,並提到 Roto 也在做類似的思考。

他也點出自己會避開的東西:把標準人類任務快速自動化的生意,以及把代理式寫程式當成獨立市場,因為價值會歸於模型供應商,而不是外殼(harness)或 IDE。他指出 Cursor 出場成績很好,但說在自己公司裡切換寫程式工具很頻繁,所以外殼並不具黏著性。

驗證的經濟學、創投定價,以及若有無限資源他會怎麼做

Rao 說他的投資框架在過去一年改變了:對深度科技公司而言,市場驗證是錯誤的主要指標。那個指標來自 SaaS,那裡的產品服務的是已知的用途。當一個主張幾乎一看就成立——他舉治癒癌症為例——市場顯然存在,唯一的問題是技術進展。他把投資人分成兩派:願意為這類公司付高價的,以及認為這是不守紀律、缺乏市場驗證的;他說後者根本搞錯了。

他把同樣的邏輯套在創投定價上:「當我們談的是兆美元以上的 TAM(總可觸及市場),價格幾乎無關緊要。」至於有錢教會他什麼,他說那不會改變你的價值觀——他對衣服和旅行還是很省,只在看得到價值的地方花錢。

被問到若有無限資源會做什麼,他的答案是自建製造與晶圓廠,往上游原料靠攏,這樣就能針對自己確切的工作負載最佳化矽晶,而不是去買一顆為上百種其他用途打造的通用品。他把這比作 Elon Musk 在做的事,也形容這是把一臺電腦的價值一路吃到矽晶棒怎麼切。

談到創辦人素質,他認為門檻提高了:AI 之前,光靠執行力就夠,因為大公司又慢又笨重;現在創辦人必須對未來有真正的看法。至於什麼是一場好的投資人會議,他回憶 Steve Jervison——對方跟他討論數值表示法、在論文上做註記、像技術同事一樣回傳問題;這在 2014 年格外難得,因為當時已經十年沒有人來推銷硬體新創了。對於投資人不懂的領域裡一筆高風險 A 輪,他的建議是:故事一定會在某個你預料不到的地方出錯,所以你投的是那個能開車、能做出轉向的人,而不是那份計畫。

泡沫之問與樂觀的理由

Rao 把當前債市的焦慮當成小波動,而不是派對結束。在他看來,拐點完全取決於 AI 服務的需求,而他是「AI 信徒」(AI pilled):產業才剛碰到表面,隨著未解的問題在未來幾年陸續被解決,需求會在今天沒人說得出名字的類別裡冒出來。他的比喻是治癒癌症——人們當然會想要。

他對生存風險的論述很不以為然:「我不看那種,你知道的,喔天啊 AI 要殺光所有人了。那是我聽過最蠢的世界觀。」真正讓他興奮的是科學可觸及面積的擴張。物理學裡有些問題過去難以處理,因為能投入的人力太少——蟲洞與其他理論構造——當機器智慧讓能攻擊這些問題的心智數量倍增,它們就變得可解。他說,這讓他覺得自己又像個孩子。

這集裡沒有解開的張力在於時間。Rao 自己的數字意味著能源稀缺會在幾年內發作,他的機器人市場是五到七年後的事,推論預測則是十年為期——但他又把近期的市場壓力斥為小波動。他提供的調和方式是:智慧的需求幾乎無限,而限制在供給,這意味著當電網閒置容量消失時,該盯的是那些掌握能源轉換、以及執行轉換的矽晶的公司。

來源: 20VC (youtube.com)
開啟原文