為什麼 AI 算力是長方形？專訪 Modal 執行長 Erik Bernhardsson

Modal 共同創辦人暨執行長 Erik Bernhardsson 認為，AI 基礎設施正進入新時代，而這個新時代無法靠包裝上一代雲端工具來滿足——Kubernetes、Docker 與穩態自動擴縮，是為便宜的 CPU 與平穩的工作負載而打造，不是為昂貴的 GPU 與突發式推論而設計。訪談中他說明，自大約兩年前上次上節目以來，Modal 的營收與用量成長約 50 倍；公司如今向將近 25 家雲端業者租用容量；他也解釋為何他認為業界習慣以「三年矩形」形式販售 GPU，與多數客戶實際消耗運算資源的方式並不相符。本集主要談容量經濟學、Modal 的雙產品結構（Functions 與 Sandboxes），以及代理（agent）如何同時重塑開發者體驗與內部工程實務；標題中的「矩形」框架只是其中一條線索，並非全集的組織主軸。

Bernhardsson 談這個題目可說位置絕佳：他從 2008–2009 年前後起、花了約七年打造 Spotify 第一套音樂推薦系統，開源了工作流程編排工具 Luigi，在 Better.com 擔任五年技術長，把技術團隊從兩、三人擴張到 300–400 人，並自 2021 年起投入 Modal。讀者讀完應該能從一家中型基礎設施供應商的視角，具體掌握 GPU 容量市場的樣貌——稀缺租金由誰賺走、為何 neocloud 能比 Modal 擴張得更快、Bernhardsson 刻意對沖哪些尾端風險——同時清楚理解他認為下一個產品市場在哪裡（訓練、批次、低延遲語音、後訓練），以及為何在自建機房（on-prem）這個問題上，他依然是「雲端極大化主義者」。

容量是硬性限制，而市場已從現貨轉向多年期預付合約

Bernhardsson 表示，容量採購已成為他三大最掛心的事之一，而過去一年市場結構出現實質變化。Modal 成立頭幾年，幾乎所有容量都來自超大規模雲端業者的現貨與隨需執行個體——最初是 AWS，接著是 GCP 與 Azure，Oracle 則因 A100 與 H100 的價格漂亮而早早加入。現貨之所以可行，是因為可被搶佔的容量能跨數百個區域匯聚成同一個池子。他說，從那之後，「為了拿到我們需要的容量，我們必須跟多非常多的雲端業者合作」——目前將近 25 家——而且許多交易現在要求三年以上的承諾，並附帶可觀的預付款。這讓 Modal 的資本效率「比從前略低」，也迫使公司建立約四名全職人員的採購職能，外加約十人的工程團隊，在全球管理裸機容量，處理網路問題、壞掉的硬碟，以及「GPU 從匯流排上掉下來」之類的狀況。

| 面向 | 早期模式（約至 2025 年底） | 現行模式（2026 年底） |
|---|---|---|
| 主要容量來源 | 超大規模雲端業者的現貨與隨需 | 現貨、預留與 25 家以上雲端業者的混合 |
| 合約結構 | 短期、可被搶佔 | 三年以上合約，通常需預付 |
| 資本效率 | 非常高 | 較低；預付款需要大量現金流 |
| 內部人力 | 採購人力極少 | 約 4 名全職採購、約 10 名工程師負責裸機 |
| 所有權 | 全部租用 | 目前仍全部租用；自建「仍在選項之列」 |

他對自建與租用並不教條。租用能保住資本效率；自建則帶來營運複雜度（供應商、電力、線纜）與財務複雜度（用股權籌資會稀釋，用債務則通常需要鎖定長期營收）。他指出 Modal 目前還沒有財務長，而他本人已為此投入大量時間。談到整體市場，他不認同 GPU 供給已被完全壟斷的說法：輝達每月出貨數十萬顆 Blackwell，「只要你願意付高價，就買得到 GPU 容量」。他形容當前時期屬於異常狀態，因為「硬體的正常狀態是……硬體價格終究總會下跌」，並說他更擔心價格崩跌而非價格上漲，因為崩跌會傷到所有在高點鎖定大量供給的人。他舉 Hunt 兄弟試圖壟斷白銀市場為例，作為試圖壟斷運算資源的警世故事。

「我並不太擔心價格上漲。我比較擔心的是價格崩跌。我不認為那會在短期內發生，但我認為那對市場上許多玩家來說會是相當糟糕的事。」

至於稀缺租金流向何處，他講得很直接：主要是輝達，其次是 neocloud 以及任何持有容量的人。他懷疑長期而言自建是否值得承擔資產負債表上的風險，並表示一切選項——自建、合資、複雜的預付結構——都仍在檯面上，尤其是為了鎖定 2027 年的容量。

Neocloud 擴張更快，因為它們預售還沒買到的容量

Bernhardsson 形容 neocloud 的財務模型是「一種非常漂亮的財務構造」：neocloud 先與大型買家（Anthropic、OpenAI）簽下多年期晶片合約、價格極具吸引力，再拿這紙合約到華爾街當作已承諾營收的證據來募資，然後去找 Supermicro、Dell 與輝達買硬體、裝機。他點名 Nscale 是最極端的例子——「明明幾乎沒什麼容量」，卻從無到有建立起非常龐大的案源。CoreWeave 則被點名為以 GPU 作為抵押品放貸的老練操作者。

Modal 的限制不同：它以產品帶動成長（product-led growth）為導向，又缺少大型長期合約，使得這種「先預售再融資」的打法較難施展，儘管他相信長期下來 Modal 也會走到同一個位置。有人問他：既然外界都說智慧的需求近乎無限，Modal 何不乾脆能買多少容量就買多少，再把多餘的轉售出去？他的回答是相關性風險的論證：一旦價格下跌，使用率也下跌，容量轉售市場會在同一時間消失，這個對沖恰好會在最需要它的時候失效。他形容自己的姿態是在買容量與為此募資上「極度積極」，但規模是配合需求成長與公司目標營運規模來拿捏，而不是試圖壟斷市場。

他也談到運算資源日益金融化的現象——新創在打造價格指數、衍生性商品，圍繞 GPU 容量做交易。他覺得這很有意思，並表示 AI 資料中心部署的規模，確實需要更好的風險對沖與保險；但他懷疑 GPU 會像布蘭特原油那樣徹底商品化，因為容量在網路、地點、磁碟、CPU 與可靠性等面向上高度異質。他也承認，當年人們對石油也說過同樣的話。

Modal 的兩項產品：Functions 佔營收三分之二，Sandboxes 佔三分之一且仍在複合成長

Modal Functions 於 2021 年推出，是易於部署與擴縮的無伺服器函式，底層容量全由 Modal 管理。產品市場契合度（product-market fit）在 2023 年浮現，如今約佔營收三分之二，實務上以推論為主。Bernhardsson 強調，Modal 從不認為自己是販售「矩形」三年期 GPU 區塊的 neocloud；它的優勢在於匯聚數以萬計的客戶，讓個別突發的需求在總量上變得平滑。

Modal Sandboxes 於 2023 年推出，起因是他與共同創辦人暨技術長 Akshay 在某次午餐時聊到：大型語言模型會輸出程式碼，總得有地方讓它執行。Akshay 花了一兩天寫出原型。2023 年夏天之前成長微乎其微——「我們甚至討論過，這產品到底需不需要，是不是該收掉」——後來隨著模型愈來愈會生成完整應用程式而爆發，需求來自 Lovable 這類 vibe-coding 公司、Ramp 的背景代理，以及數家實驗室的強化學習工作負載。Sandboxes 如今約佔營收三分之一。Bernhardsson 說他一直預期 sandbox 營收會趨於平緩，但它每個月仍以約 30% 的速度成長。

談到差異化，他坦白說 sandbox「不是差異化程度最高的領域」，Modal 的優勢在於基礎設施的硬底子——可靠地跑起數十萬甚至數百萬個 sandbox，並為了因應規模而數度重寫系統。這項產品在原本以 gVisor 為基礎的隔離之外，新增了完整 VM，因為有些使用情境需要完整的 Linux 相容性；此外也加入更好的基礎元件，用於在 sandbox 之間傳輸資料與操作檔案系統。他認為長期的差異化會落在快照（snapshot）、分支（fork）、恢復（resume）與即時遷移（live migration）。

如今 Modal sandbox 的中位存活時間約八秒，他形容這「有點不可思議」。他的論點是，主流模式將從「把開發機搬上雲」的平移式做法，轉向更短命的形態——每個指令一個環境，中間以快照銜接，讓你能暫停、恢復、複製。關鍵在於降低啟動與停止的交易成本。他舉 CI 為例：現在要把測試套件切成多個分片，每個分片都得重複安裝與設定步驟，耗時數分鐘。若能只做一次設定、對容器快照、複製，然後讓每個測試各自跑在自己的 sandbox 裡，就能「讓那次執行快到癱瘓——比如一千個 sandbox」。他把目前的額外開銷歸結為 Amdahl 定律的問題。

Modal 與 Anthropic 有合作：Anthropic 的託管代理提供自帶 sandbox（bring-your-own-sandbox）的整合，而 Modal 可以扮演那個 sandbox。Bernhardsson 的解讀是，Anthropic 靠推論賺錢，因此會受益於圍繞推論盡可能寬廣的生態系接觸面。

Hugging Face 事件是 Modal 上的一個應用程式被駭，不是 Modal 被入侵——而它促成了安全思維的重新設計

Bernhardsson 直接回應了這起事件。在針對 Hugging Face 的攻擊行動中運作的代理，發現了部署在 Modal 上某個應用程式的漏洞，並以此為跳板取得完整的網際網路存取權。他對定調很謹慎：「這是跑在 Modal 上的一個應用程式被駭——不是 Modal 被駭」，並把它類比為 AWS 上的應用程式遭入侵。他並不聲稱自己記得該漏洞利用的每一個細節。

他從中得到的教訓是關於預設值。他借用 S3 的類比：AWS 發現公開 bucket 太容易不小心建立，這對客戶造成傷害，儘管那並非 AWS 的安全疏失，於是 AWS 讓公開 bucket 變得困難許多。Modal 正在研究如何讓安全預設更嚴格，「又不至於摧毀讓 Modal 好用的那股魔力」。

另外，Modal 在訪談前幾個月——大約就在他稱為「Fable」的那個模型發布前後——開始在內部使用代理來尋找漏洞，做法基本上就是把代理放進 sandbox，叫它試著逃脫。目前為止什麼都沒找到，但他說代理非常擅長探查系統深處、嘗試許可權提升。他樂觀認為代理驅動的安全工作會讓世界整體更安全，也不認同大型安全廠商已經「完蛋」的說法，因為那門生意很大一部分是企業關係、銷售與品牌——他認為這些資產在 AI 時代依然有價值。

代理對開發者體驗的改變不如預期，因為好的 DX 與好的 AX 本質上是同一件事

對於開發者體驗是否仍然重要，Bernhardsson 的回答是：幾乎所有讓 DX 變好的東西，也會讓代理體驗（agent experience，AX）變好——好的檔案、描述清楚的錯誤訊息、快速的回饋迴圈。他承認代理降低了痛苦設定的折磨——他描述自己把代理指向 Cloudflare，讓它替自己完成設定——但底層原則依然成立。他也主張基礎設施應該更程式化、更指令式（開一個 sandbox、做事、拆掉），而不是用宣告式的 YAML／DSL 設定，這本來就是 sandbox 論述的一部分。

一個具體而略帶喜感的後果是：代理的訓練資料讓下架舊功能變得很難。代理會傾向使用舊的 Modal 語法，因此 Modal 對移除功能變得更加保守，還得更新網路上每一個範例。他也提到內部在跑「代理最佳化」基準測試——要代理用任何它想用的工具部署 Stable Diffusion，看它會不會推薦 Modal；或要它依可靠性或價格替 sandbox 供應商排名。他說代理很容易誤解定價，所以 Modal 花時間把內容寫得更清楚，方便機器讀者理解。被問到 Modal 是否會在 GitHub repo 裡植入代理撰寫的 Modal 程式碼，他說技術上大概可行，訓練資料對 AI 生成的內容可能也不敏感，但「我不太喜歡這個主意」——同時也承認自動生成的內容對 SEO 確實有效。

前線部署工程師的存在，是為了把重複的客戶工作轉化為產品，而不是建立服務業務

Modal 的前線部署工程師（forward-deployed engineer，FDE）團隊從年初約四人擴編到現在約 24 人。他們深度參與客戶工作：為 LLM 工作負載做效能調校（草稿模型、調整 vLLM 與 SGLang 的引數）、繞過客戶遇到的問題、揪出 CPU 或記憶體超額配置並幫客戶省錢，以及把程式碼從其他平臺搬遷過來。Bernhardsson 說，目標明確不是要變成服務吃重的公司。他把 FDE 的職能排序為：（A）銷售流程的一部分、協助成交；（B）客戶支援；（C）最重要的是，補上產品缺口，而這些缺口日後會變成真正的功能。他對任何 FDE 任務的慣性提問是：如何把它變成產品，讓這個 FDE 不再被需要。

Modal 不聘傳統意義上的產品經理。Bernhardsson 並非反 PM，但他認為許多公司太急著聘 PM，最後落得「35 個看起來有點像、但每個做的細節都略有不同的功能」。他主張，基礎設施公司的產品管理需要對基礎積木有深刻的策略思考，並清楚公司一到兩年後必須站在哪裡，而這種能力很稀缺。Modal 有些人從 DevRel 或工程轉進產品角色，都是先展現出策略敏銳度。

團隊結構正擺回個人貢獻者，程式碼審查正變成選配

Bernhardsson 說團隊結構確實變了，但他不認為是生成式 AI 造成的——他認為 AI 只是加速了一個本來就在發生的轉變。在 Modal，「主管或個人貢獻者，地位沒有差別。大家都是技術團隊的一員。」他看到卸任主管回到個人貢獻者角色寫程式，也提到他自己、Akshay 與多數技術團隊成員仍在寫程式，許多非技術人員也是。

至於程式碼審查，Modal 把它當作選配。他的看法是，程式碼審查往往是「人們想逃避把東西合併進正式環境的責任」，而一個每次變更都需要審查的文化，是該在 CI/CD 上多投資的訊號。他在動到架構時確實會審查程式碼，但他說，如果你只是在改檔案或做基本工作，「不要等人來看——尤其是在 AI 時代。」這種姿態需要很強的控制手段：到處都有速率限制、系統解耦、沒有單點故障，以及非常好的測試覆蓋率。他指出代理現在寫測試已經真的很行，而幾年前他還認為這是一大缺口。

工具方面，Modal 採「完全自由放任」——早期是 Cursor，後來是 Claude Code 與 Codex，現在更多是 Nightshift 這類開源堆疊。他說大家可能在 Token 上花得有點太多，未來的財務長也許會踩剎車。公司現在正試著用自己的推論端點來做代理式開發的 dogfooding，因為它已在大規模執行許多開源模型。

訓練、批次與低延遲語音是下一批賭注；微調正變成選配

Bernhardsson 說，Modal 斷斷續續做訓練產品已好幾年，但團隊規模小時，推論是唯一焦點。如今約 150 名工程師（全公司約 200 人），Modal 有能力把賭注放到別處。他「非常看好訓練」，但明確不鎖定那些流向 neocloud 的十萬顆 GPU 超大規模訓練。他點名服務不足的區塊是：反覆迭代的研究人員、訓練較小模型（語音合成、語音轉文字）的人、在 64 顆 GPU 上訓練中等規模模型的計算生物科技客戶，以及傳統的 ML 推薦系統。

他同樣看好批次處理——有位客戶需要轉錄他形容為橫跨數百萬個檔案、相當於 5,000 年的音訊，靠閒置容量幾天就跑完——也看好低延遲工作，預期語音對語音的模型會成為可觀的市場。至於後訓練，他說微調的價值主張已經減弱：幾年前的說法是，微調過的小模型能用更低成本達到前沿品質，但如今開源模型本身就夠好，可以直接拿來替換。微調「不再是你非做不可的事——它非常選配」。Modal 正在打造 SFT 與強化學習相關產品，並成立一個聚焦後訓練、蒸餾與量化的研究團隊，初期與客戶並肩工作，最終把這些工作產品化。

對於下一個基礎積木是什麼，他刻意語帶保留：「如果我說我完全知道我們該建什麼，那我大概是妄想。」他陳述的做法是打造通用、可組合的基礎元件，讓客戶自行組合成 Modal 預料不到的應用——這正是孕育出 Functions 與 Sandboxes 的同一套模式。

自建機房是過時模式，但自帶雲端可能基於容量理由而成立

Bernhardsson 的看法沒變：他是「雲端極大化主義者」。他回憶自己 2008–2009 年對雲端的反應——「我為什麼要把我的程式碼拿到別人的電腦上跑？這簡直瘋了」——並說他花了六個月才改變想法，企業則又花了 15 到 20 年。他主張，自帶雲端（BYOC）與 VPC 對等連線反映的是一種過時的安全模型，把網路當成護城河，而零信任才是更穩健的範式。多租戶也讓 Modal 能快速迭代：「如果我們想引進一個新資料庫，我們就能引進一個新資料庫」，不必擔心客戶已經部署了什麼。

他在 BYOC 上留了兩扇門。第一，理論上某家非常大的《財星》500 強客戶可能願意以極高價格買單——Modal 報過這樣的數字，但沒人點頭。第二，也是他更感興趣的：BYOC 可能成為取得 neolab 手上大量預留容量的一種方式——控制平面留在 Modal 的環境，資料平面跑在他們的容量上，甚至可能把那些容量匯聚進同一個全球池。至於真正的自建機房，他暗示 Modal 可能永遠不會做。

文化與人力是第三戰線，排在容量與產品策略之後

Modal 已突破 200 人，預期 2026 年底約 250 人，Bernhardsson 說 2027 年底達到 700 人左右是合理的——大約 2.5 到 3 倍。他在過去 12 個月曾讓團隊以年化約 4 倍的速度成長，並稱這無法持續：這樣的速度會帶來文化漂移、形成不同工作風格的孤島，以及工程師去打造邊緣的東西。他說團隊每年翻一倍是管得動的。多數新人是系統工程師——Linux、檔案系統、網路、雲端——而 GPU 效能（CUDA、MFU、KV 快取、路由）與新的研究團隊則有持續增加的需求。

他把自己的關注重點排序為：容量及其財務複雜度（定價與包裝、自建與租用、該靠近還是遠離 neocloud 模式）；產品策略（下一個基礎積木是什麼、世界幾年後會發現自己需要什麼）；以及文化與公司建設。關於最後一項，他提到一個實際問題：當公司規模超過某個點、人們再也無法從房間裡讀出他的情緒時，他要如何保持平易近人；以及如何同時給 250 個人脈絡、動機與責任感。

「我們這門生意的營運槓桿大得有點誇張。我們有 200 名員工——他們很花錢，但 GPU 花得更多。」

值得觀察的重點

整集貫穿的主線是：Modal 押注的是匯聚與細粒度，而不是持有資產——向多家雲端業者匯聚容量、切得極細，讓平滑的總需求吸收個別突發的工作負載。這個賭注邏輯一致，卻在兩側都有曝險。供給面上，三年期預付的「矩形」鎖定了 Bernhardsson 自己都說相對於硬體長期通縮而言屬於異常的價格——價格崩跌會造成傷害，而他也這麼說了。需求面上，Sandboxes 靠著編碼代理與強化學習工作負載，每月成長約 30%，這個類別在 2023 年並不存在，而訪談中沒有人聲稱預測到它能持續多久。值得追蹤的開放問題包括：Modal 是否會走向自建或合資以確保 2027 年容量；訓練與後訓練的賭注能否從 FDE 協助的專案轉為自助式產品；替代加速器（AMD、TPU、Cerebras、Groq，以及混合式 prefill/decode 架構）能否在 2027 年前取得可觀市佔——Bernhardsson 預測會，但也提到他已經錯估這件事好幾年；以及 Hugging Face 事件促成的安全預設變更，能否在不侵蝕他視為 Modal 一半價值主張的開發者體驗下落地。