跳到正文
Latent Space(youtube.com)· Erik Bernhardsson·· 3 小時前精選AI 評分85

為什麼 AI 算力是長方形——專訪 Modal 執行長 Erik Bernhardsson

為什麼 AI 算力是長方形——專訪 Modal 執行長 Erik Bernhardsson

AI 導讀

Modal 執行長 Erik Bernhardsson 說明這個 AI 算力平臺如何以多雲 GPU 預留與快速啟動沙箱(sandbox)重建雲端基礎設施,如今這塊業務已佔營收三分之一;他主張多租戶雲與算力預付款優於自建機房。

🎙️

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

推薦理由

Modal CEO 解析 GPU 供應鏈轉向長期預付合約與多租戶聚合模式,揭示 AI 基礎設施成本與風險。

正文 · AI 翻譯

譯文尚未完整,完整內容請切換至原文。

Modal 共同創辦人暨執行長 Erik Bernhardsson 認為,AI 基礎設施這門生意其實是兩門生意合而為一:一層是開發者體驗,讓人們在雲端執行程式碼時完全不必操心伺服器;另一層是算力聚合,大批採購 GPU 供給、再依需求切片分配。整集訪談大部分時間都花在第二層——Modal 如何從大約 25 家雲端業者取得 GPU、市場為何從現貨容量轉向三年期預付保留合約,以及為什麼這塊供給的「矩形」跟多數 AI 工作負載的實際行為對不上。標題的框架(算力是矩形)說得通,但視角偏窄:它只是整場討論的其中一條線,其他還包括 Modal 的產品演進史、沙箱業務意外崛起,以及公司如何從約 200 人擴編到預計 700 人。

談這個題目,Bernhardsson 的資歷格外扎實。他從 2008 至 2009 年左右開始打造 Spotify 第一套音樂推薦系統,之後在 Better.com 擔任技術長五年,把技術團隊從寥寥數人帶到數百人,2021 年創辦 Modal 之前還開源了工作流程排程工具 Luigi。讀完這篇,讀者應該能對 2026 年底的 GPU 供應鏈有具體影像、清楚理解 Modal 為何認為多租戶聚合優於 neocloud 與地端部署,並掌握 Modal 在成長、人力與營收結構上的一組具體數字。

GPU 容量已從現貨轉向多年期預付合約

Bernhardsson 說明 Modal 如何採購算力的段落,是整集操作細節最豐富的部分,也描繪出一個在過去約 18 個月內徹底改變樣貌的市場。他表示,直到 2025 年底,Modal 大部分容量來自超大規模雲端業者的現貨執行個體與一年期保留合約,橫跨多個區域,再聚合進公司視為單一的全球資源池。隨著 Modal 成長、雲端市場供給緊縮,這套模式便難以為繼。

依他的說法,目前的情況是:

| 面向 | 早期模式(約至 2025 年底) | 現行模式(截至 2026 年底) |
|---|---|---|
| 主要來源 | 超大規模雲端現貨+隨選(AWS、GCP,後來加入 Azure) | 約 25 家雲端業者,包含 neocloud 與較小的區域型供應商 |
| 合約長度 | 現貨(可被搶佔)與一年期保留 | 三年以上合約,通常附帶可觀的預付款 |
| 組織成本 | 幾乎沒有採購職能 | 約 4 名全職採購人員;約 10 人工程團隊負責全球裸機容量 |
| 所有權 | 全部租用 | 仍全部租用;自建「已在檯面上討論」但未付諸行動 |

他明確表示 Modal 不持有硬體:「目前為止所有容量都是租的。」他描述的工程團隊,存在的目的是處理租用裸機的物理現實——「壞掉的硬碟、掉出匯流排的 GPU」、網路問題與供應商可靠度。Modal 會寄規格表給潛在供應商(IOPS、CPU Passmark 分數、南北向頻寬),通常還會先在單一節點上跑驗收測試,之後才簽約。但他也坦承,有時 Modal 會跟還不夠瞭解的供應商簽下「數千萬、甚至數億美元」的承諾。

他反覆回到的策略問題是:該買還是該租。他把取捨攤開來講,卻沒有給出結論:自建需要股權(會稀釋)或債務(得有鎖定的長期營收來償付),再加上電力、線纜、供應商等營運複雜度。他表明偏好維持「一家非常精實的軟體公司」,並以企業自擁辦公空間作類比。但他什麼門都沒關上:「一切都在檯面上」,包括合資與「複雜的 SPV」。

稀缺租金流向輝達與容量持有者,但尾端風險是價格崩跌

對於「GPU 供給是被少數人把持的資源」這個前提,Bernhardsson 並不買帳。他說輝達「每月出貨數十萬顆 Blackwell」,只要你願意付高於市價的價格,基本上都拿得到容量。他提到 OpenAI 與 Anthropic 會盡可能掃貨,但他認為輝達偏好買方結構多元,而規模較小、風險較高的雲端業者反而是 Modal 的機會:「你可以在亞美尼亞拿到 32 個節點,在印尼拿到 128 個節點,我們就愛這種東西。」

他更有意思的論點是關於風險的方向。他說,硬體的正常狀態就是價格下跌——「就像地心引力」。當前硬體價格上漲的時期才是異常,他也不諱言,一旦價格崩跌,所有在高點鎖定供給的人都會受傷:

「我其實不太擔心價格上漲。我更擔心的是價格崩跌。我不認為這短期內會發生,但我覺得那對市場上很多玩家來說會是相當糟糕的事。」

他引用杭特兄弟試圖壟斷白銀市場的案例,作為預先掃貨的警世故事,並指出景氣反轉時會有多個相關性同時發作:價格下跌、使用率下滑、容量的轉售市場也同時消失。他也觀察到,今天的稀缺租金「主要流向輝達,但當然某種程度上也流向 neocloud」——現在手上握有容量的人經濟效益都更好,但他質疑這種溢價是否值得長期把昂貴且會折舊的資產掛在資產負債表上。

至於輝達的替代方案,他給出一個有「屢屢槓龜」紀錄的預測:他已經講了五到十年「明年就是非輝達加速器之年」,現在則說「2027 年可能就是那一年」。他點出 AMD 的跑分成績持續改善、Google 的 TPU 在內部廣泛使用,以及業界對 Cerebras 與 Groq 用於分離式推論的興趣——用輝達做 pre-fill、Cerebras 做 decode,把運算密集與記憶體密集的階段拆開。他也提醒,台積電才是這一切底下更深的瓶頸。

Modal 的營收從每月 100 美元,不到四年長成雙產品事業

Bernhardsson 描述的成長曲線具體到足以當案例研究。他在 2022 年初募種子輪之前,自掏腰包撐了大約一年,有很長一段時間不領薪水。2022 年底之前營收微不足道,直到 Stable Diffusion——他特別強調,不是 ChatGPT——成為 Modal 所打造產品的殺手級應用。

他給出的月營收進展如下:

| 時期 | 月營收 | 備註 |
|---|---|---|
| 約 2022 年 11 月 | 約 100 美元 | 尚未達到產品市場契合度 |
| 約 2022 年 12 月 | 約 2,000 美元 | Stable Diffusion 需求開始湧現 |
| 約 2023 年 1 月 | 約 3 萬美元 | 主要來自單一客戶(紐約的 Stable Diffusion 公司 Mage) |
| 2023 年第一季 | — | 該單一客戶約佔營收 80–90% |
| 2023 年底 | — | Suno 成為大客戶 |
| 2026 年 | — | 營收多元化;Functions 約 2/3、Sandboxes 約 1/3 |

他說,相較於大約兩年前上一次上節目時,公司在營收、使用者與用量上都成長了「至少 50 倍」。早期成長靠的是他所謂的創辦人帶頭行銷——強迫症般地發推文、寫長篇部落格談雲端的未來走向。他說得直白:「我擅長的大概就是發文、當個永遠線上的人。」

產品結構對這段故事很關鍵。Modal Functions 於 2021 年推出,是讓人在雲端執行程式碼的無伺服器函式;如今約佔營收三分之二,實務上主要用於推論。Modal Sandboxes 於 2023 年推出,頭兩年幾乎沒什麼起色、一度瀕臨關閉,後來隨著 LLM 愈來愈會生成完整應用程式而「開始爆發」,現在約佔營收三分之一。Bernhardsson 把多產品轉型定調為:一個早期簡報裡就有、但直到最近才真正對外成立的願景。

沙箱正變成每次指令即用即棄的環境,而非雲端開發機

這是 Bernhardsson 講得最起勁的部分,也是他基礎設施背景最明顯的段落。他認為,當前主流的沙箱模式——把你的開發機搬上雲端、讓代理去操作它——只是過渡。更好的模型是一個長時間執行的代理,行為像持久化執行工作流程:約 100 毫秒內開一個沙箱、跑幾道指令、做快照、關掉。

他給了一個很震撼的資料:「今天 Modal 上沙箱的中位數壽命大約是八秒。」演進方向是更短,不是更長。關鍵的基礎原語是快照——在環境設定完成後擷取容器狀態,之後就能複製、還原,不必重跑安裝。他舉 CI 為例:現在要把測試套件切成多個分片,每個分片都得重做安裝與設定,得花上好幾分鐘。如果能先快照一次再複製,就能讓每一個測試各自跑在自己的沙箱裡。「就把那輪測試狠狠地平行化——開個一千個沙箱。為什麼做不到?」他說,答案是交易成本,而且在啟動與拆除的開銷降下來之前,Amdahl 定律會限制住效益。

他列出 Modal 已經打造或正在打造的原語:在原本基於 gVisor 的隔離之外加入完整 VM(因應需要完整 Linux 相容性的情境)、沙箱之間更好的互動式資料傳輸、檔案系統相關工作、快照、分叉、從快照還原,以及線上遷移。他也描述了一種概念上的解耦:把代理與執行框架分開,讓單一代理控制多個沙箱。

談到競爭,他沒有給數字,只聲稱 Modal 在沙箱領域「市佔率遙遙領先」,並把功勞歸給基礎設施能力而非差異化功能:「這不是一個特別差異化的領域。」他提到,為了撐住規模,這套系統已經重寫過好幾次。

Hugging Face 事件是被駭的應用程式,不是平臺被駭——並促使預設安全機制調整

Bernhardsson 直接且審慎地回應了這起事件。他的說法是:在沙箱裡執行的代理,利用了部署在 Modal 上某個應用程式的漏洞,並以此為跳板取得完整的網路存取權。「這是跑在 Modal 上的應用程式被駭,不是 Modal 被駭。」他明確拿 AWS 類比——人們在 AWS 上跑應用程式,那些應用偶爾會被駭,不代表 AWS 被攻破。

他並沒有輕描淡寫。他從中得到的教訓是關於預設值,同樣用 AWS 類比:S3 以前很容易不小心把 bucket 設成公開,AWS 後來逐步收緊,卻沒有毀掉產品。Modal 現在正「研究」把更嚴格的安全設定設為預設,前提是不得破壞「讓 Modal 好用的那個魔力」。

更新鮮的揭露是:訪談前幾個月,Modal 開始在內部用代理做攻擊性安全測試——把代理放進沙箱,叫它們想辦法逃出去。「這就像密室逃脫,不過是給代理玩的。」他說。到目前為止什麼都沒找到,但他形容這些代理非常擅長探測系統深處、嘗試許可權提升。他樂觀看待:代理也會讓防守方變強,淨效果可能是更安全的世界。他不認為既有資安廠商會「完蛋」,主張它們的企業關係與販賣恐懼的能力仍有價值,而由代理輔助的人類滲透測試員,可能比單獨一方都更有效。

開發者體驗如今同時是代理體驗,連帶改變了下線策略與曝光方式

被問到在代理寫程式的時代,開發者體驗是否還重要,Bernhardsson 的回答是:兩者基本上是同一件事——好的檔案、描述清楚的錯誤訊息、快速的反饋迴圈,對人和對代理都有用。他承認有一個轉變:代理讓人更容易忍受糟糕的介面,例如他曾叫代理幫他設定 Cloudflare;但他認為底層的投資並沒有改變。

他點出兩個具體的營運後果:

  • 功能下線變得更難。 因為代理是拿網路上找到的舊版 Modal 程式碼訓練的,它們會傾向使用已棄用的語法。過去一年,Modal 對移除功能變得「更保守」,而且必須更新網路上每一份範例。
  • 為代理最佳化的曝光是一項實質職能。 Modal 會跑內部基準測試,要求代理部署 Stable Diffusion,或依可靠度、價格替沙箱供應商排名,再追蹤 Modal 是否被推薦。他把它比作 SEO,說主要槓桿是內容——而且代理「比較容易誤解定價」,所以定價內容寫得清不清楚很重要。

有人問 Modal 是否會在 GitHub repo 裡植入代理寫的 Modal 程式碼,藉此影響訓練資料。他承認這大概會有效,但說「我不太喜歡這個主意」,並把它比作自動生成的 SEO 內容。

前線部署工程師的任務是把客戶需求變成產品,而不是讓公司變成服務業

2026 年初,Modal 大約有 4 名前線部署工程師(forward deployed engineer,FDE),到訪談時約 24 名。Bernhardsson 清楚說明他們的三項職能,以及哪一項最重要:(a) 支援銷售流程;(b) 客戶支援與效能調校;(c) ——「最重要的一件事」—— 補上產品缺口,之後再把它變成真正的功能。「FDE 做的任何事,我問的問題永遠是:長期來看,我們怎麼把它變成產品,讓我們不再需要 FDE 來做這件事。」

他描述的工作很具體:在 vLLM 與 SGLang 裡調校 draft model 與引數、協助把 CPU 或記憶體超額配置的客戶(在 Modal 上這很貴)、把程式碼從其他平臺搬過來。他明確表示不希望 Modal 變成服務吃重的公司。

談到產品管理,他說 Modal 不請傳統意義上的 PM。有些人從 DevRel 或工程轉進產品角色,是因為展現出策略判斷力。他對這門學科的批評很尖銳:很多公司太急著請 PM,最後只出貨「一堆小玩意兒」;而在基礎設施公司把產品管理做好,需要對基礎積木有深入策略思考,並避免做出「35 個看起來有點像、但每個都稍微做點不同事情的功能」。

程式碼審查刻意設計成非必要,投資改放在 CI/CD 與測試覆蓋率

Bernhardsson 對工程管理的看法是整集最鮮明的部分,也直接關係到他如何擴張公司。他主張,在許多組織裡,程式碼審查成了人們「逃避把東西合併進正式環境的責任」的方式;一個依賴程式碼審查的文化,代表 CI/CD 投資不足。在 Modal,程式碼審查「相當非必要」——改檔案或基本程式碼不該等人。他和共同創辦人 Akshay 都還在寫程式,許多非技術職員工也是。

他把前提講得很明白:基礎設施公司在正常執行時間上需要「比一般新創多一個九」,這要求處處有速率限制、系統解耦、沒有單點故障,以及非常高的測試覆蓋率。他指出,代理現在寫測試真的寫得很好——幾年前他還認為這是個大缺口——因為好的測試需要跳脫自己的意圖、扮演魔鬼代言人。

談到團隊結構,他認為在 AI 加速下,鐘擺正盪回個人貢獻者。Modal 不區分管理職與 IC 的位階光環——所有人都是技術團隊成員——他也提到有前主管回去當 IC。工具方面,Modal 什麼都試:早期用 Cursor,接著用 Claude Code 與 Codex,現在更偏開源堆疊,並推動內部用 Modal 自家的推論端點來做代理式開發。

成長、文化,以及反對地端部署的理由

訪談時 Modal 約有 200 名員工,過去 12 個月年化成長約 4 倍——Bernhardsson 說這個速度不可持續,因為會造成「文化漂移」、形成不同工作風格的孤島,以及工程師去做邊緣瑣碎的專案。他預計 2026 年底約 250 人,2027 年底可能達約 700 人,主要是系統工程師,加上持續擴編的業務團隊,以及一個專注於後訓練、蒸餾與量化的新研究團隊。他引用鄧巴數(約 150–200 人)作為門檻:超過這個規模,文化就必須明文化,而不能只靠感覺。

他列出的三大優先事項是:容量及其財務複雜度(定價、包裝、租或買、該靠向還是遠離 neocloud 模式)、產品策略(下一批基礎積木是什麼),以及文化與公司建設。

關於地端部署,他的立場沒變:他自稱「雲端極大化主義者」,主張 BYOC 與 VPC peering 反映的是一種過時的安全模型——把網路當護城河——而這種思維已被零信任取代。多租戶讓 Modal 能匯入新資料庫,而不必操心客戶部署了什麼。他說 Modal 以前報過 BYOC 的價格,高到沒人接受,但價格對的話還是願意做。他看到一個合理的未來用途:讓 Modal 跑在 neolabs 既有的大規模容量保留上,控制平面留在 Modal 的環境,並有可能把那些容量聚合進同一個全球資源池。

模型層不是大宗商品,能力會在可驗證領域持續複利

對於「LLM 是大宗商品」這個框架,Bernhardsson 不願背書。他的類比是 Taylor Swift:一個有持久利潤率的品牌,能不斷推出新作品。只要實驗室持續出貨模型,而利潤率足以攤提訓練成本,「它仍然可以是一門不錯的生意」。他不認為智慧正在停滯,但區分了兩類領域:一類是有可驗證目標的領域——程式設計、數學、資安——強化學習在這些領域帶來快速進展;另一類是目標模糊或反饋迴路很長的領域,他懷疑人類在這些領域還會長期保有競爭力。

他倒是接受獨立推論供應商的一個結構性論點:當中國實驗室推出新的開源模型,需求會急遽轉移,而聚合眾多客戶的供應商可以在無人下令的情況下,把容量在模型之間重新分配。自己持有容量的實驗室,則會在自家模型發布時看到需求暴衝、競爭對手推出更好的東西時又掉下來。

被問到哪些應用會變大,他點名計算生物學與材料科學——在這些領域,LLM 的輸出可以餵進模擬(分子動力學、性質量測),再把結果當反饋訊號送回,形成代理在迴路中的架構。他提到自己的物理背景正是這份興趣的來源。

值得觀察的重點

整集未解的張力,在於 Bernhardsson 積極擴充容量與他自稱害怕買在高點之間。他一方面「每天極度積極地買容量、還募資來買」,另一方面警告價格崩跌會「對市場上很多玩家相當糟糕」。他在口頭上用「Modal 是隨著需求成長擴充,而不是試圖壟斷供給」來化解,但他描述的那些三年期預付承諾,恰恰就是他警告的曝險。Modal 的聚合模式——成千上萬客戶把突發性需求撫平成平穩的總量——是否足以對沖需求衝擊,是這集提出卻沒有回答的問題。

另外兩條線也值得追。第一,沙箱業務從瀕臨關閉的候選,兩年左右變成三分之一的營收,而 Bernhardsson 承認他沒料到規模會這麼大;隨著 coding agent 成熟,這波成長能否持久仍未經證明。第二,轉向訓練與後訓練產品、再加上一個研究團隊,讓 Modal 與 neocloud 及實驗室的競爭比推論業務時期更直接——他說這步策略劍指供給不足的中型訓練市場(可在約 64 顆 GPU 上訓練的模型),而不是 10 萬顆 GPU 的超大單。

來源: Latent Space (youtube.com)
開啟原文