Fractile 執行長談晶片的未來 | 大家對資本支出花費的誤解 | Walter Goodwin
Fractile 執行長談晶片的未來 | 大家對資本支出花費的誤解 | Walter Goodwin
Fractile 執行長 Walter Goodwin 主張,LLM 推論的瓶頸在記憶體頻寬而非算力,而把記憶體堆疊在邏輯晶片之上,正是他的晶片新創得以挑戰 Nvidia 的關鍵;如今真正的硬性限制已變成電力與土地。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
晶片新創 Fractile 創辦人暨執行長 Walter Goodwin 主張,如今卡住 AI 推論的瓶頸是先進記憶體頻寬,而非純粹的算力;把 DRAM 直接堆疊在邏輯晶片之上,可以打破現行每一款晶片都受制於速度與容量取捨的困局。這場對談主要圍繞晶片架構與推論經濟學:為何頻寬的成長落後算力約 25,000 倍、Fractile 的 3D 堆疊記憶體與採用 HBM 的 GPU、採用 SRAM 的快速推論晶片有何不同,以及供應鏈取得能力、資料中心電力上限與測試階段算力擴充套件(test-time compute scaling)如何決定價值由誰掌握。70 億美元估值與 7.2 億美元 C 輪募資只是本集節目的開場框架,實際只佔幾分鐘;絕大部分內容是對推論堆疊的技術與策略導覽。
Goodwin 之所以是勝任的嚮導,是因為 Fractile 自行設計晶片,直接與晶圓代工廠和記憶體供應商往來,而非透過博通(Broadcom)這類後端合作夥伴。讀者讀完後,應該能建立一套可用的推論瓶頸模型、掌握各家競爭晶片架構與其取捨的地圖,並理解 Goodwin 對輝達(NVIDIA)、推論服務商以及 AI 基礎建設擴建永續性的具體預測——而且他明白點出這些預測出自他本人。
卡住推論的是記憶體牆,不是算力
Goodwin 的核心技術論點是:晶片進步極度不對稱。約 25 年間,AI 晶片的浮點運算吞吐量成長約一百萬倍,記憶體頻寬卻只成長約 40 倍——他估計兩者差距約 25,000 倍。這個落差如今正是 LLM 推論的瓶頸,因為自迴歸生成(autoregressive generation)每產生一個 Token,都要從記憶體重新載入模型權重(時至今日還包括上下文)。
「如果你拿一個非常大的前沿模型,它可能每秒只生成 80 個 Token……原因不是晶片上的數學運算能力有限,而是你到記憶體的頻寬根本不夠。」——Walter Goodwin
他把這個限制歸因於物理現實:DRAM 與處理器之間的介面是幾千條銅線,再繼續微縮有硬性極限。他的比喻是倉庫(DRAM)與辦公室(處理器)——箱子必須來回搬運,因為辦公室沒空間存放。SRAM 是另一條路:與邏輯電路做在同一片矽晶上,因此速度快、距離近,但密度低得多,單位面積成本也高得多。取捨如下:
| 記憶體型別 | 頻寬 | 容量 | 每 bit 成本 | 所在位置 |
|---|---|---|---|---|
| DRAM(含 HBM) | 低(受銅線限制) | 高 | 低 | 獨立矽晶,位於一旁 |
| SRAM | 極高 | 低 | 高 | 與邏輯電路同晶粒 |
Fractile 的賭注是拒絕這個取捨:把 DRAM 層堆疊在邏輯晶粒之上——「每個人都分到一點海景第一排」,而不是隻能擠在有限的邊緣。Goodwin 說,這把幾千條橫向銅線變成數百萬個垂直連線,得到接近 SRAM 的頻寬、接近 DRAM 的容量。他強調這是站在既有 3D 整合技術之上——這技術「已經存在很長一段時間」,只是從未被用來解決這個特定問題。
Fractile 的堆疊記憶體設計,可能讓異質機櫃的存在理由消失
Goodwin 認為,當前把不同型別晶片混用於同一座資料中心的風潮,只是為了彌補「沒有一款晶片什麼都能做」的權宜之計。最典型的例子是輝達在收購 Groq 之後的架構,它把推論工作負載拆開:prefill/前饋(運算密集的部分)與共享的模型權重跑在一顆晶片上,而注意力(attention)——針對每位使用者獨有上下文運算的部分——跑在另一顆晶片上。邏輯是:模型權重由所有使用者共享,因此昂貴的高頻寬記憶體可以攤提;上下文不共享,所以需要更便宜、容量更大的記憶體。
Goodwin 認為問題出在容量閒置。上下文長度與模型大小會變,但資料中心的晶片組合是固定資本支出,得攤提好幾年。
「你很可能最後會落到一個局面:資料中心裡有一部分容量就這樣閒置。你根本沒把它填滿,因為你的晶片組合配錯了。」——Walter Goodwin
他說堆疊式設計可以免去這種排程需求:把 SRAM 實質上「搬到樓上」、DRAM 堆疊在最上層之後,整個基底晶粒都能留給張量核心(tensor core),一顆晶片就能同時達到頂級浮點算力、SRAM 級頻寬與 DRAM 級容量。他把純 SRAM 的快速推論晶片(Groq、Cerebras)形容為能做出「反應更靈敏的聊天機器人」,但受容量與成本限制,無法處理長上下文、長時間執行的代理(agent)。
flowchart TD
A["現行 HBM 架構晶片"] --> B["頻寬受 HBM 介面限制"]
A --> C["容量沒問題,速度受限"]
D["純 SRAM 晶片(Groq、Cerebras)"] --> E["Token 生成極快"]
D --> F["容量低、成本高、上下文短"]
B --> G["異質機櫃:把 prefill 與注意力拆到不同晶片"]
C --> G
E --> G
F --> G
G --> H["風險:上下文與模型大小變動時容量閒置"]
I["Fractile 將 DRAM 3D 堆疊於邏輯晶片"] --> J["單一晶片兼具高算力、高頻寬、高容量"]
J --> K["主張:不再需要異質排程"]
繞過博通,是 Fractile 的結構性優勢
大多數客製化 AI 晶片——Goodwin 點名 TPU、Meta 的 MTIA、OpenAI 的 Jalapeño、Etched 與 MatX——據傳都採用博通作為後端合作夥伴,這意味著它們共用同樣的台積電製程節點、同樣的 HBM 模組,以及大部分相同的平臺。他引用博通 Charlie Kawwas 在研討會上的一席話:Kawwas 舉起下一代平臺的樂高模型,說 2028 年將有六家主要客戶採用——Goodwin 的解讀是:六款名字不同、但建立在同一個平臺上的晶片。
「這基本上是一種平臺技術的玩法。你頂多隻能換個油漆顏色。」——Walter Goodwin
Fractile 則把實體設計與晶圓代工關係都握在手上。Goodwin 說,這讓公司得以推動需要號召規模大得多的供應鏈夥伴才能完成的客製化積木——也就是記憶體堆疊——並在先進平臺已經撤離的製程節點與 DRAM 世代上取得貨源;他說這條路能從「沙發縫裡」挖出吉瓦級規模的產能。
談到量產進度,Goodwin 表示 Fractile 已從晶圓廠取回晶片,正在進行更多試產,完整產品的 tape-out(設計定案)「幾個月內」就會完成。他把 tape-out 定義為把最終 GDS2 設計檔交給晶圓廠、開始製作光罩的交接點,並強調更難的工作在 tape-out 之後:良率、備援與修復、可製造性,以及讓一套參考工作負載在整座機櫃上跑起來——Fractile 內部把這個里程碑稱為「task zero」。他認為業界對 tape-out 日期的執著,有一部分是因為那正是創投投資人聽得懂的東西。
價值累積在推論,而晶片層的護城河最寬
Goodwin 在 2021 年左右的原始論點有兩部分:訓練是固定成本,推論才是唯一在經濟上重要的部分;而且測試階段算力擴充套件一定會到來。他歸功 OpenAI 在他創立公司約兩年後,發表了第一份推理模型的研究。他舉千禧年大獎難題(Millennium Prize problem)被 10,000 個代理、約 80 小時的執行所解開為例,說明前沿工作的樣貌:大規模平行生成 Token,加上極長的序列執行。
「如果你長期下來在訓練上花更多錢,那我們到底為什麼要造這些東西?你知道,那你真的可以收一收回家了。」——Walter Goodwin
被問到價值會累積在哪裡時,他看多晶片,理由是晶片設計與部署本身存在固有時間差,足以鈍化削價競爭;他也看多前沿實驗室。他對純軟體排程層抱持戒心,因為那建立在晶片將永久異質的假設上,而他預期這種異質只是過渡現象。至於推論服務商(Modal、Fireworks、Baseten、Together),他不願點名贏家,但說自己寧可當推論專家,也不想當 neocloud(新型雲端業者),並預期這個領域會出現「幾家數千億美元級的公司」,而不是十強並立的市場。
他直言雲端算力正在商品化:「一家有實力的 neocloud,跟另一家有實力的 neocloud 沒什麼兩樣。」他舉 Fluidstack 早早部署 Google TPU 為例,說明 neocloud 如何擺脫單一 GPU 供應商的束縛。他也用 DeepSeek 釋出完整推論堆疊一事,證明連開源模型的服務都還沒商品化——DeepSeek 因為同時掌握模型與服務軟體,吞吐量明顯更高。
如今卡住擴建的是電力與土地,不是矽晶
Goodwin 梳理出一個不斷移動的瓶頸:先是輝達 GPU 短缺,接著是邏輯晶片與記憶體供應(HBM 短缺一拖就是好幾年),現在則是土地與電力。容易取得的場址——可改造的工業用地、90 天內能拿到許可的燃氣渦輪機——已經用盡。美國與英國的併網排隊量比可用供給高出一個數量級,不過他提醒,排隊的專案很多可能不是真的。
他認為中國「搶得先機」,把算力蓋在 15 GW 水力發電廠這類巨型工程旁邊;美國、英國與歐洲應該照抄這個邏輯——包括把資料中心與蘇格蘭風場共址設定。他指出英國的規劃限制(蝙蝠與蝴蝶就能擋下場址)是結構性劣勢。對晶片的實際影響是:在兆瓦數有限的情況下,營運商需要的是高速下的高總吞吐量,而不只是低延遲,這有利於為特定用途量身打造的晶片,而非在低效率工作點上硬跑的通用 GPU。
AI 擴建不是達康泡沫,而輝達仍被低估
Goodwin 最適合引用的一句市場預測:輝達五年內會成為 10 兆美元的事業。他指出,輝達目前的本益比(forward multiple)比思科(Cisco)在達康泡沫破滅後還低,並主張市場「從一開始就把繁榮溢價定價進去了」,因為投資人被 2000 年嚇怕了。他反駁光纖式崩盤的證據是:資料中心裡的 GPU 全都被充分利用,沒有閒置機隊,因為推論階段的思考需求,遠超過能服務它的算力供給。
「我們被達康泡沫嚇得太深,以至於從一開始就把繁榮溢價定價進去了。」——Walter Goodwin
他承認這個世界不會出現「幾千倍」的資料中心,並說這對世界大概是好事。取而代之的是,模型效率的提升(上下文壓縮、稀疏注意力)加上硬體進步,必須讓每兆瓦能產出的智慧大幅增加。他預期十年後花在執行模型上的總支出會遠高於今天,即使每單位能力的成本持續下降。談到晶片週期,他指出今天資料中心裡的每一顆晶片都會在六、七年內被汰換,很多甚至兩、三年內就換掉——這對新進者是結構性順風。
Fractile 的 7.2 億美元 C 輪買到的是選擇權,不只是矽晶
這輪是 7.2 億美元的 C 輪,估值 70 億美元,由 Thrive、Founders Fund、Lightspeed 與 Radpoint 共同領投(依主持人開場介紹)。Goodwin 說,這筆資金的主要用途不是晶片本身——那筆固定成本早已募足——而是機動性:提前好幾年的長期供應協議、跨世代多次出手的機會、更多內部的機器學習研究,以及系統與網路團隊的擴編。Fractile 最近從 Meta 挖來 Dan Rabinovich 負責系統建置,並在臺灣與美國都有團隊。
他形容募資環境已經徹底改變:兩年前,他得花大半場會議解釋什麼是推論;現在可以直接談 Fractile 的供應鏈位置與架構。在快問快答環節,他點名台積電是他會投資的供應商(「以這個價格來說很便宜」)、倫敦的新實驗室 Inherent 是他會押注的鄰近客戶標的、D-Matrix 是他會支援的競爭對手——Fractile 與 D-Matrix 都在做 3D DRAM。他說最想延攬的董事會成員是德米斯·哈薩比斯(Demis Hassabis),但還沒開口邀請。他過去一年最大的想法轉變:任何可驗證的東西——數學與程式設計——都會在 12 個月內被前沿模型解決。他給英國的唯一政策槓桿:鬆綁能源。
貫穿這些線索的主軸是:Goodwin 從好幾個角度押同一個注——值得掌握的瓶頸是推論層的記憶體頻寬,而它之上的一切(異質排程、neocloud 的差異化、純軟體護城河)都只是對這個瓶頸的暫時回應。值得追蹤的張力在時機:他的架構主張尚未經過大規模驗證,tape-out 還要幾個月,而他對輝達 10 兆美元的預測與「沒有泡沫」的立場,都建立在 GPU 滿載利用率能撐過這段他本人預期每 Token 成本會大幅下滑的時期。如果效率提升跑得比需求成長快,利用率論點就會鬆動;如果沒有,他描述的電力限制就會成為整套論述真正的天花板。