Architect Labs 推出 Frostbite CPU,主打每瓦效能提升
Frostbite: A new CPU architecture discovered, designed and verified by AI
一般 CPU 得花不少晶片面積和電力來找出哪些指令能同時執行,也要維持多核心共用資料的一致性。
- Architect Labs 推出 Frostbite,讓程式把工作之間的關係直接交代清楚,再由晶片上的小單元分工處理。
- 沒事做的單元也能從鄰近單元接手工作。團隊表示,在 25 項工作測試中,Frostbite 每瓦效能平均是對照 CPU 的 4.59 倍。
- 其中 15 項測試事先保留,沒有用來調校。這些數字來自晶片量產前的設計與測試,團隊也表示,接下來會用更多業界測試比較更大型的配置。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Frostbite 在 15 項未參與調校的工作上,達到傳統 CPU 每瓦效能的 3.83 倍,可用來瞭解這種架構在不同程式上的表現。
摘要
在先前的文章Redwood中,我們展示了只要提供架構設計,我們的 AI 系統就能在極短時間內實作、驗證並部署推論加速器,創下新紀錄。不過,與其他科學領域相似,我們認為只要給 AI 系統適當的自由度與防護機制,它們就能共同設計軟體與硬體,跨越整個技術堆疊進行最佳化,並開拓過去難以企及的廣闊設計空間。我們著手回答這個問題:「我們的 AI 系統與工具能否帶來全新的硬體突破,效能大幅超越人類設計?」
今天,我們推出 Frostbite,這是一款從零打造、採用全新指令集的通用型 CPU。Frostbite 運用互動網路的特性,也就是每個步驟都是區域性的、每項相依關係都明確,而且每個值都恰好只有一個擁有者,讓長期停滯的 CPU 效能躍升一個級距。在最初選定的 25 項工作負載中,有 15 項保留到最終評估才使用;與採用現代、已通過矽晶驗證的超純量(雙指令發射、循序執行)CPU 核心相比,我們達到 4.59 倍的每瓦效能。
我們的 AI 系統自主反覆改良編譯器、ISA、架構、微架構、RTL、驗證流程,以及最終 GDS。深入檢視發現的架構原語後,我們驚訝地看到一些全新的硬體實作與執行階段功能,這些設計若由人類主導,原本可能很難規劃。儘管 CPU 核心效能的提升長期停滯,我們仍成功將工作負載概念一路推進到最終 GDS,並證明每瓦效能與每單位面積效能都能躍升一個級距。我們相信,隨著 AI 系統能力提升,從資料中心級 CPU、AI 加速器,到網路交換器與 NIC,各類我們今日熟知的晶片都將經歷類似的根本性架構轉變。
互動網路簡介
主流程式語言編譯成通用型 CPU 可執行的程式碼時,會隱藏程式各部分之間的相依關係。任何程式碼都可能透過共享的可變狀態讀取或寫入任何變數,因此現代 CPU 硬體會以最壞情況為前提,並在執行階段重新判斷哪些指令彼此確實相依。此外,自 2000 年代初期以來,單核心 CPU 效能大致陷入停滯,促使人們轉向 Intel Xeon、AMD Zen 與 NVIDIA Vera 等大型多核心 CPU。這迫使 CPU 維持一種假象,讓每個核心看起來都能存取相同的記憶體;要讓這種假象保持一致且具備良好效能,便需要深層快取階層與快取一致性協定,耗費晶片面積與功耗,而且擴充性不佳。
互動網路1採取了不同的做法。程式是由節點組成的圖,計算則透過改寫經由連線埠相連的節點配對來進行。每次改寫只會影響圖中一小部分的區域性區域。由於每個節點恰好只有一個主連線埠,這些作用中的配對彼此不會重疊,因此可以任意順序改寫,也可以同時改寫,結果都相同。互動網路也具備線性特性:每個值恰好只會使用一次,因此硬體不必防範共用的可變狀態。Vine2 等語言可將一般形式的程式直接編譯為互動網路。若想深入瞭解互動網路及其適用於硬體的原因,我們極力推薦 Tendrils 的〈On Interaction Nets〉。 3
圖 1 以一個小型搜尋問題展示兩者的差異:在五乘五棋盤上放置五個皇后。循序執行的程式一次檢查一個候選位置。互動網路則會呈現所有彼此獨立的工作:平均每個步驟約有十二次互動可供執行。為了取得這種平行處理能力,程式本身不必經過任何改寫;相依關係只是從未被捨棄。
理論上,這應該帶來兩大優勢。第一,免費取得多執行緒能力:平行處理能力直接來自程式本身,不必在粗粒度與細粒度平行處理之間調整。無須執行緒、鎖定或競爭條件,也不必仰賴傳統處理核心用來挖掘平行處理機會的亂序執行機制。第二,由於每個值都有唯一的擁有者,而且每個步驟都是區域性操作,資料可以存放在靠近使用位置的小型本機記憶體中。這能省去傳統晶片用於大型快取子系統的許多面積與功耗,也能降低系統層級維持快取一致性的複雜度。
流程
Frostbite 的設計不預設任何架構。我們依照以下流程進行,過程中也運用多個代理程式群組。

架構探索與選擇
開始探索架構之前,我們必須先確立 Frostbite 應該能出色執行的一組工作負載。我們決定從不同方式來檢視程式如何呈現其工作:同時執行許多互不相依的工作、分輪進行平行處理、漫長的循序鏈、資料相依分支,以及遞迴。我們針對每種類別建立搜尋集與保留評估集,用來評估最終的 Frostbite,確保這項設計能泛化至從未針對其調校過的程式。FFT、radixsort 和 LU 的核心程式依照 SPLASH-2 基準測試中的實作撰寫,但規模縮小為原本的 1/64,因為使用一般規模時,這些程式不適合用於探索性工作。
之後,我們在保留評估集中加入另外五種實用工作負載:卡爾曼濾波器、PCA、有限元素分析、LU 求解,以及 LZ4 解壓縮。

代理程式彙整了研究論文與現有基準測試,並建立 Python 模型,權衡不同的高階架構構想,最後逐步聚焦到單一架構概念。這番探索產出的成果是一份 141 頁的 PDF,涵蓋提議中的程式設計模型、執行階段,以及晶片的高階區塊。這份檔案與最終架構相去甚遠,主要是作為起點,記錄先前所有研究結果、高階需求、限制、實驗和執行階段特性。第一輪架構迭代完成(首次產生 RTL)後,這份檔案就被刪除了,因為其中許多數字和估算都遠超出實際可行的範圍。
形式化契約與系統建模
選定候選架構後,我們的系統便開始建立晶片完整的軟體模型。探索架構空間時,建立軟體模型不可或缺,因為它能讓工作負載、ISA 與抽象化硬體檢視之間快速迭代。無論是打造 CPU、GPU、NPU 還是網路交換器,掌握這個迭代迴圈,都能在有限時間內以最快速度探索設計空間。為了反覆執行這個流程,我們設計了一套新的內部規格語言 ASL,並以此撰寫 Frostbite 的系統模型「Arcmodel」。ASL 支援 RTL、系統模型、UVM、SVA 等之間可由機器檢查的轉譯與精化,並以形式化規格為依據。它的功耗與效能估算精確度在 1–5% 以內,執行速度約為 RTL 模擬的 200 倍,且可透過「契約」進行形式化驗證。
迄今每個晶片專案中,都是由人類架構師撰寫大量英文 PDF,再交給實作團隊與驗證團隊。然而,自然語言無法精確且明確地涵蓋實作所需的每項細節,也無法保證在設計與驗證 ASIC 的過程中,能抓出代理程式的所有幻覺。自然語言本來就不是為此目的而設計;在 AI 撰寫規格的情況下,我們選擇改用形式化、可由機器檢查的規格語言。
ASL 能以形式化方式描述高階、類似通訊協定的行為,例如亂序處理、CSR 設定、記憶體排序與一致性,也能描述低階細節,例如管線、仲裁機制和計算轉移函式。如此一來,模型便能在適合之處保持規格開放,並在需要精確行為之處加以明確限制。ASL 也能原生轉譯為 Lean,4 我們以此進行所有定理證明,檢查 AI 在 RTL、UVM、C、SVA 等方面的輸出。我們將在未來的文章中更詳細介紹 ASL。
在 Frostbite 的整個開發過程中,我們的 AI 緊密地一同迭代 Frostbite ISA、Arcmodel、設計與驗證,並以 ASL 契約維持單一事實來源。我們發現,擁有一個可證明的單一事實來源,能在部署大型代理程式群時,避免大量錯誤、疏失與獎勵駭取情形。最終,這套共通語言讓模型能靈活地跨越整個技術堆疊,將工作負載的變更一路反映到最終硬體。最後,我們的 Frostbite ASL 轉換為超過 80 萬行 Lean 程式碼。

RTL 與對齊
由於 ASL 是有形式化方法支援的規格,依據它設計並驗證 RTL,是整個 Frostbite 流程中最快的一環。然而,Arcmodel 並未考量實體特性,因此一開始對功耗與效能的估算,會偏離時序收斂且通過合成檢查的 RTL 實際數值;最糟時,誤差接近 250%。
繼續進行 ASL 自動研究之前,我們會透過其中一套系統,根據 RTL 重新校準 Arcmodel。這是一條全自動化管線。它會先找出 RTL 中的功耗熱點,再一路追溯至形式化規格中的關鍵計數器,例如 SRAM 讀取與寫入次數、操作次數、傳送與接收的 flit 數、信用額度退還次數,以及影格遺失次數。接著,模型可以撰寫任意的純量 Python 函式,根據這些計數器預測功耗,並反覆執行這個流程,直到 RTL 與 Arcmodel 的差異縮小至 5% 以內。
我們發現,這種不依賴梯度的學習方式非常有效。完成第一次實體特性對齊後,後續迭代的速度會快得多。當然,這些仍是晶片製造前的功耗數值;經過多輪流片流程後,ASL 模型可以與晶片製造後的實際量產功耗數值建立關聯。

由於 Arcmodel 與 RTL 的結果高度吻合,後續的代理群集得以更快速地探索與利用設計空間。完整的 Arcmodel 晶片模擬速度遠快於 RTL(快 660 倍),因此促成許多跨堆疊最佳化。例如,我們的 AI 系統找出極細緻的時脈閘控技巧,並在幾小時內相應調整軟體執行環境以配合這些技巧。若採用傳統 ASIC 流程,幾乎不可能執行這類跨堆疊最佳化。
合約、Arcmodel、RTL 與功耗共同迭代
Arcmodel 與 RTL 達成一致後,原本的 Python 模型和架構 PDF 都被刪除,ASL 合約成為晶片唯一的規格。此後,合約、Arcmodel、RTL 與功耗一起推進。多個代理群集在平行 worktree 中提出架構修改;每項變更都會依合約檢查、在 Arcmodel 中建模、以 RTL 實作並測量功耗,接著決定保留或捨棄。經過四輪搜尋和最後一輪消融測試,代理群集嘗試了 58 個構想,保留其中 37 個,涵蓋執行中運算磚的時脈閘控、小型化的 L3 表,以及一個共用擴充套件器。
架構創新
完整介紹這套架構細節,足以另寫一篇文章。因此,我們選擇聚焦在我們認為新穎或有創意的功能,並凸顯我們的系統推進硬體設計前沿的能力。
Frostbite 的程式以 Vine 撰寫。2 Vine 是一種完整的程式語言,語法類似 Rust。Vine 程式會編譯成 Ivy,這是一種編碼互動網路結構的中介表示法(IR)。最佳化器也會盡可能套用圖形化簡規則,因此最後產生的 Ivy net(名稱由此而來)形狀大致固定,由三種基本元素組成:資料、運算節點與控制節點。然而,這個網路在執行時仍然非常動態,因為不同於典型的運算圖,其平行處理能力會編碼在結構中,並隨時間以管線方式執行;這裡的平行處理能力必須在執行時根據狀態推導,並以空間方式透過管線執行。最初的簡易實作速度很慢,因此我們的代理程式只好發揮創意。
產生的 ISA 來自這些限制。其中有許多設計都在意料之中:寬位元組、硬體迴圈計數器與串流。我們覺得動態功能更有意思,尤其是從網路其他部分取得、窺看及複製值的操作;這些部分會平行執行。接著,各個運算磚便開始運作,在空間中彼此通訊。
湧現特性:竊取工作
由於平行處理能力分散在空間中,因此沒有中央排程器。相反地,我們看到代理程式設計出優雅的工作傳遞規則。運算磚遵循三項規則:先執行自己的工作,也就是輸入埠中的工作。如果輸入埠是空的,就從有多餘工作的相鄰運算磚取得工作。如果找不到這樣的運算磚,就可以進入非作用狀態以節省電力。
代理程式展現了高超的實作技巧。以下是單一 Frostbite 運算磚的硬體:

其中有許多區塊應該都很熟悉。我們特別關注 RUNTIME 範圍,它負責前述的工作竊取行為。
編譯器會將程式碼拆成短小區段,待輸入就緒後便會不中斷地執行。這些區段會在引擎中執行,並大多透過前端,以傳統運算方式組織。當迴圈或分支拆成大小無法預先得知的平行部分時,正在執行的區段會將後續工作暫存到本機記憶體中的小型記錄,也就是框架管理器。接著,它會將新工作放入名為工作佇列的硬體佇列,並自行取出最新的一項執行。閒置的相鄰運算磚就能透過網路取走剩餘工作。當晶片各處的工作以任意順序完成時,回傳封包會遞減暫存記錄中的計數器,並在最後一個部分送達的瞬間自動喚醒下一個區段。
硬體中的運作方式如下:
我們可以把每個「工作」想成目前棋盤的一個狀態:往下遞迴一層,並多放一個皇后。Tile 0 必須先將所有可能的皇后配置排入佇列,總共三項工作,才能完成目前的棋盤狀態。它目前沒有工作,因此會取出最新的一項(來自自己)並開始執行。與此同時,相鄰運算磚已各自取得其他工作,只有 Tile 5 回到休眠狀態。
這種行為從未經由任何人明確規定。我們可以直接追溯到特定回歸測試的需求,以及透過爬山法最佳化效能指標的結果。
結果
我們以 7 nm 製程合成 Frostbite,合成時序達到 800 MHz,最終 GDS 則達到 500 MHz。每個 Frostbite 四核心叢集(由 2×2 個 tile 組成)搭配四個 L3 節點,面積為 0.792 mm²。我們以一個四核心叢集加上 L3 的組合,對比現代超純量(雙發射、循序執行)CPU 的單一核心,並將後者稱為 TCPU(「傳統 CPU」)。這顆 TCPU 採用相同製程,面積為 0.895 mm²。†

我們在各種工作負載上進行基準測試,範圍從 gemm 和 conv2d 等密集平行核心程式,到 JSON 剖析、Huffman 編碼、k-d 樹和遞迴 Fibonacci 等不規則分支程式。我們以一組搜尋工作負載來驅動所有架構最佳化、ISA 設計、RTL 與驗證;晶片則以 10 項搜尋集工作負載,以及 15 項保留工作負載進行評估,其中包括後來加入的五項實用工作負載(圖 3)。
為了公平比較,我們先以一個 Frostbite 四核心叢集對比 TCPU,測量「單核心」效能,因為兩者面積相近。在所有工作負載中,平均效能面積比達 8.77 倍;在搜尋集與保留集合計的全部 25 項工作負載中,Frostbite 的每瓦效能幾何平均值達 TCPU 的 4.59 倍:在 10 項搜尋集工作負載中為 6.02 倍,在 15 項未經調校的保留工作負載中則為 3.83 倍。正如預期,這種架構在高度可平行化的工作上表現最佳,但在具分支的動態程式碼上也勝過 TCPU。


能耗分析呈現了節能的來源。不計時脈分配(佔 TCPU 能耗的 49%、Frostbite 四核心叢集的 41%),TCPU 有 57% 的能耗用於記憶體,另有 27% 用於擷取、解碼及發出指令。Frostbite 將記憶體能耗降至 38%,並將擷取、解碼及發出指令的能耗降至僅 6%。相對地,它有 26% 的能耗用於晶片內網路和排程器,這是共享工作並在 tile 之間傳遞訊息所需的成本。更令人振奮的是,當晶片擴充套件為 4×4 陣列(四個四核心叢集)時,功耗分佈大致不變。在通用多核心 CPU 架構中,增加核心數量需要加入龐大的快取和複雜的快取一致性機制;而執行互動網路時,資料區域性規則始終相同,增加核心也不會提高系統複雜度。下圖展示了這一點。未來幾個月,我們將以更多業界基準測試(例如 SPEC 和 PARSEC),比較網格類 Frostbite 組態與配備大型快取的多核心「TCPU」組態,以及核心數更多、管線更寬且採用非循序執行的 CPU。

接下來的發展
互動網路(interaction nets)問世至今已超過 35 年,但其在實際生產上的價值始終未能完全明朗。過去,探索超出當時常見分佈範圍的架構,總伴隨著風險,因為要投入時間、人力與資金,才能形成明確判斷。我們相信,AI 從根本上改變了這些成本效益。在追求更高效能與更低功耗的過程中,工作負載、ISA 與硬體之間的極致協同設計需求將持續增加。透過大規模代理系統、精密的搜尋空間技術、明確的限制條件、形式驗證,以及更快速的 EDA 工具,AI 系統將能找出並打造新型加速器,品質甚至超越人類的認知能力。還有許多工作要做,但我們認為,現在正是向世界展示自主晶片設計未來樣貌的好時機。我們計畫持續擴大 Frostbite 的開發,包括但不限於:
- 提供軟體遊樂場,讓任何人都能在 Frostbite 上執行程式,並透過 FPGA 託管。
- 打造初步作業系統,能管理硬體資源、多個程式、虛擬化等功能。
- 擴大代理系統規模,提升 Frostbite 的每瓦效能,並以更多元的工作負載,和更廣泛的 CPU 進行基準測試。
- 公開 Frostbite 的 RTL 與 ISA。
我們做得很開心!
附註
†基於法律因素,我們無法透露 CPU 的確切型號。
參考資料
- 1.Lafont, Y.(1990)。〈互動網路〉。《第 17 屆 ACM SIGPLAN-SIGACT 程式語言原理研討會論文集》(POPL ’90),95–108。doi:10.1145/96709.96718
- 2.Vine 程式語言。vine.dev
- 3.Tendrils(2026)。〈關於互動網路〉。tendrils.co/blog/2026-04-26/on-inets
- 4.de Moura, L. 與 Ullrich, S.(2021)。〈Lean 4 定理證明器與程式語言〉。《自動演繹:CADE 28》,LNCS 12699,625–635。doi:10.1007/978-3-030-79876-5_37