跳到正文
hackernews100(architectlabs.com)· shioyama·· 2 天前精選品質評分82

Architect Labs 推出 Frostbite CPU,主打每瓦效能提升

Frostbite: A new CPU architecture discovered, designed and verified by AI

重點導讀

一般 CPU 得花不少晶片面積和電力來找出哪些指令能同時執行,也要維持多核心共用資料的一致性。

  • Architect Labs 推出 Frostbite,讓程式把工作之間的關係直接交代清楚,再由晶片上的小單元分工處理。
  • 沒事做的單元也能從鄰近單元接手工作。團隊表示,在 25 項工作測試中,Frostbite 每瓦效能平均是對照 CPU 的 4.59 倍。
  • 其中 15 項測試事先保留,沒有用來調校。這些數字來自晶片量產前的設計與測試,團隊也表示,接下來會用更多業界測試比較更大型的配置。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Frostbite 在 15 項未參與調校的工作上,達到傳統 CPU 每瓦效能的 3.83 倍,可用來瞭解這種架構在不同程式上的表現。

正文 · 中文翻譯

摘要

在先前的文章Redwood中,我們展示了只要提供架構設計,我們的 AI 系統就能在極短時間內實作、驗證並部署推論加速器,創下新紀錄。不過,與其他科學領域相似,我們認為只要給 AI 系統適當的自由度與防護機制,它們就能共同設計軟體與硬體,跨越整個技術堆疊進行最佳化,並開拓過去難以企及的廣闊設計空間。我們著手回答這個問題:「我們的 AI 系統與工具能否帶來全新的硬體突破,效能大幅超越人類設計?」

今天,我們推出 Frostbite,這是一款從零打造、採用全新指令集的通用型 CPU。Frostbite 運用互動網路的特性,也就是每個步驟都是區域性的、每項相依關係都明確,而且每個值都恰好只有一個擁有者,讓長期停滯的 CPU 效能躍升一個級距。在最初選定的 25 項工作負載中,有 15 項保留到最終評估才使用;與採用現代、已通過矽晶驗證的超純量(雙指令發射、循序執行)CPU 核心相比,我們達到 4.59 倍的每瓦效能。

我們的 AI 系統自主反覆改良編譯器、ISA、架構、微架構、RTL、驗證流程,以及最終 GDS。深入檢視發現的架構原語後,我們驚訝地看到一些全新的硬體實作與執行階段功能,這些設計若由人類主導,原本可能很難規劃。儘管 CPU 核心效能的提升長期停滯,我們仍成功將工作負載概念一路推進到最終 GDS,並證明每瓦效能與每單位面積效能都能躍升一個級距。我們相信,隨著 AI 系統能力提升,從資料中心級 CPU、AI 加速器,到網路交換器與 NIC,各類我們今日熟知的晶片都將經歷類似的根本性架構轉變。

互動網路簡介

主流程式語言編譯成通用型 CPU 可執行的程式碼時,會隱藏程式各部分之間的相依關係。任何程式碼都可能透過共享的可變狀態讀取或寫入任何變數,因此現代 CPU 硬體會以最壞情況為前提,並在執行階段重新判斷哪些指令彼此確實相依。此外,自 2000 年代初期以來,單核心 CPU 效能大致陷入停滯,促使人們轉向 Intel Xeon、AMD Zen 與 NVIDIA Vera 等大型多核心 CPU。這迫使 CPU 維持一種假象,讓每個核心看起來都能存取相同的記憶體;要讓這種假象保持一致且具備良好效能,便需要深層快取階層與快取一致性協定,耗費晶片面積與功耗,而且擴充性不佳。

互動網路1採取了不同的做法。程式是由節點組成的圖,計算則透過改寫經由連線埠相連的節點配對來進行。每次改寫只會影響圖中一小部分的區域性區域。由於每個節點恰好只有一個主連線埠,這些作用中的配對彼此不會重疊,因此可以任意順序改寫,也可以同時改寫,結果都相同。互動網路也具備線性特性:每個值恰好只會使用一次,因此硬體不必防範共用的可變狀態。Vine2 等語言可將一般形式的程式直接編譯為互動網路。若想深入瞭解互動網路及其適用於硬體的原因,我們極力推薦 Tendrils 的〈On Interaction Nets〉。 3

圖 1. 五皇后問題的兩種解法。左側的 C++ 程式一次走訪搜尋樹中的一個步驟;右側則以互動網路進行相同搜尋,同時探索多個分支:共進行 3,183 次互動,關鍵路徑僅有 262 個步驟。

圖 1 以一個小型搜尋問題展示兩者的差異:在五乘五棋盤上放置五個皇后。循序執行的程式一次檢查一個候選位置。互動網路則會呈現所有彼此獨立的工作:平均每個步驟約有十二次互動可供執行。為了取得這種平行處理能力,程式本身不必經過任何改寫;相依關係只是從未被捨棄。

理論上,這應該帶來兩大優勢。第一,免費取得多執行緒能力:平行處理能力直接來自程式本身,不必在粗粒度與細粒度平行處理之間調整。無須執行緒、鎖定或競爭條件,也不必仰賴傳統處理核心用來挖掘平行處理機會的亂序執行機制。第二,由於每個值都有唯一的擁有者,而且每個步驟都是區域性操作,資料可以存放在靠近使用位置的小型本機記憶體中。這能省去傳統晶片用於大型快取子系統的許多面積與功耗,也能降低系統層級維持快取一致性的複雜度。

流程

Frostbite 的設計不預設任何架構。我們依照以下流程進行,過程中也運用多個代理程式群組。

Timeline of the Frostbite program showing key events, stages from architecture exploration through alignment and iteration, and the agent worktrees created in each stage.

圖 2. Frostbite 從最初提案到消融實驗的歷程:重要事件、工作階段,以及代理程式建立的工作樹;各分支以所屬階段的顏色標示。

架構探索與選擇

開始探索架構之前,我們必須先確立 Frostbite 應該能出色執行的一組工作負載。我們決定從不同方式來檢視程式如何呈現其工作:同時執行許多互不相依的工作、分輪進行平行處理、漫長的循序鏈、資料相依分支,以及遞迴。我們針對每種類別建立搜尋集與保留評估集,用來評估最終的 Frostbite,確保這項設計能泛化至從未針對其調校過的程式。FFT、radixsort 和 LU 的核心程式依照 SPLASH-2 基準測試中的實作撰寫,但規模縮小為原本的 1/64,因為使用一般規模時,這些程式不適合用於探索性工作。

之後,我們在保留評估集中加入另外五種實用工作負載:卡爾曼濾波器、PCA、有限元素分析、LU 求解,以及 LZ4 解壓縮。

Table of 25 workloads in five groups, each split into search set and eval set. Parallel: gemm, chacha20 and spmv in the search set; conv2d, radixsort and pca in the eval set. Staged: fft and binomial in the search set; lcs, bfs, emeans, lu solve and fea in the eval set. Sequential: biquad and sha256 in the search set; huffman and kalman in the eval set. Branching: json in the search set; randomforest and lz4 in the eval set. Recursive: mergesort and nqueens in the search set; quicksort, kdtree and fib in the eval set.

圖 3. 全部 25 種工作負載,依各程式呈現工作的方式分組,並區分為代理程式用來調校的搜尋集與保留評估集,同時標示各項工作的執行規模。

代理程式彙整了研究論文與現有基準測試,並建立 Python 模型,權衡不同的高階架構構想,最後逐步聚焦到單一架構概念。這番探索產出的成果是一份 141 頁的 PDF,涵蓋提議中的程式設計模型、執行階段,以及晶片的高階區塊。這份檔案與最終架構相去甚遠,主要是作為起點,記錄先前所有研究結果、高階需求、限制、實驗和執行階段特性。第一輪架構迭代完成(首次產生 RTL)後,這份檔案就被刪除了,因為其中許多數字和估算都遠超出實際可行的範圍。

形式化契約與系統建模

選定候選架構後,我們的系統便開始建立晶片完整的軟體模型。探索架構空間時,建立軟體模型不可或缺,因為它能讓工作負載、ISA 與抽象化硬體檢視之間快速迭代。無論是打造 CPU、GPU、NPU 還是網路交換器,掌握這個迭代迴圈,都能在有限時間內以最快速度探索設計空間。為了反覆執行這個流程,我們設計了一套新的內部規格語言 ASL,並以此撰寫 Frostbite 的系統模型「Arcmodel」。ASL 支援 RTL、系統模型、UVM、SVA 等之間可由機器檢查的轉譯與精化,並以形式化規格為依據。它的功耗與效能估算精確度在 1–5% 以內,執行速度約為 RTL 模擬的 200 倍,且可透過「契約」進行形式化驗證。

迄今每個晶片專案中,都是由人類架構師撰寫大量英文 PDF,再交給實作團隊與驗證團隊。然而,自然語言無法精確且明確地涵蓋實作所需的每項細節,也無法保證在設計與驗證 ASIC 的過程中,能抓出代理程式的所有幻覺。自然語言本來就不是為此目的而設計;在 AI 撰寫規格的情況下,我們選擇改用形式化、可由機器檢查的規格語言。

ASL 能以形式化方式描述高階、類似通訊協定的行為,例如亂序處理、CSR 設定、記憶體排序與一致性,也能描述低階細節,例如管線、仲裁機制和計算轉移函式。如此一來,模型便能在適合之處保持規格開放,並在需要精確行為之處加以明確限制。ASL 也能原生轉譯為 Lean,4 我們以此進行所有定理證明,檢查 AI 在 RTL、UVM、C、SVA 等方面的輸出。我們將在未來的文章中更詳細介紹 ASL。

在 Frostbite 的整個開發過程中,我們的 AI 緊密地一同迭代 Frostbite ISA、Arcmodel、設計與驗證,並以 ASL 契約維持單一事實來源。我們發現,擁有一個可證明的單一事實來源,能在部署大型代理程式群時,避免大量錯誤、疏失與獎勵駭取情形。最終,這套共通語言讓模型能靈活地跨越整個技術堆疊,將工作負載的變更一路反映到最終硬體。最後,我們的 Frostbite ASL 轉換為超過 80 萬行 Lean 程式碼。

A web of 31 clusters, one per block of the chip, each made of the signals, events, state and clauses its Lean contract names, linked by blue curves where blocks share signals; below, the frame manager's contract drawn out, with its signals on the left feeding events, state and 49 clauses on the right.

圖 4. 全部 31 個區塊的 Lean 合約。每個區塊都是一組合約所列出的專案,彼此依據資料讀取關係連結,並以藍線標示區塊共用的訊號。下方將放大檢視影格管理器(FRM)區塊。

RTL 與對齊

由於 ASL 是有形式化方法支援的規格,依據它設計並驗證 RTL,是整個 Frostbite 流程中最快的一環。然而,Arcmodel 並未考量實體特性,因此一開始對功耗與效能的估算,會偏離時序收斂且通過合成檢查的 RTL 實際數值;最糟時,誤差接近 250%。

繼續進行 ASL 自動研究之前,我們會透過其中一套系統,根據 RTL 重新校準 Arcmodel。這是一條全自動化管線。它會先找出 RTL 中的功耗熱點,再一路追溯至形式化規格中的關鍵計數器,例如 SRAM 讀取與寫入次數、操作次數、傳送與接收的 flit 數、信用額度退還次數,以及影格遺失次數。接著,模型可以撰寫任意的純量 Python 函式,根據這些計數器預測功耗,並反覆執行這個流程,直到 RTL 與 Arcmodel 的差異縮小至 5% 以內。

我們發現,這種不依賴梯度的學習方式非常有效。完成第一次實體特性對齊後,後續迭代的速度會快得多。當然,這些仍是晶片製造前的功耗數值;經過多輪流片流程後,ASL 模型可以與晶片製造後的實際量產功耗數值建立關聯。

Chart of model energy versus RTL energy prediction error over time, showing the Python model at 40–130% error and Arcmodel falling from 250% worst-case error after the first power fit to under 6% worst-case and about 1.5% median after searching.

圖 5. 程式執行期間,模型估算能耗與 RTL 能耗的誤差。Python 模型的結果與 RTL 相差甚遠;完成第一次功耗擬合後,Arcmodel 經過重新對齊與搜尋,誤差終於降至 1–5% 的區間。

由於 Arcmodel 與 RTL 的結果高度吻合,後續的代理群集得以更快速地探索與利用設計空間。完整的 Arcmodel 晶片模擬速度遠快於 RTL(快 660 倍),因此促成許多跨堆疊最佳化。例如,我們的 AI 系統找出極細緻的時脈閘控技巧,並在幾小時內相應調整軟體執行環境以配合這些技巧。若採用傳統 ASIC 流程,幾乎不可能執行這類跨堆疊最佳化。

合約、Arcmodel、RTL 與功耗共同迭代

Arcmodel 與 RTL 達成一致後,原本的 Python 模型和架構 PDF 都被刪除,ASL 合約成為晶片唯一的規格。此後,合約、Arcmodel、RTL 與功耗一起推進。多個代理群集在平行 worktree 中提出架構修改;每項變更都會依合約檢查、在 Arcmodel 中建模、以 RTL 實作並測量功耗,接著決定保留或捨棄。經過四輪搜尋和最後一輪消融測試,代理群集嘗試了 58 個構想,保留其中 37 個,涵蓋執行中運算磚的時脈閘控、小型化的 L3 表,以及一個共用擴充套件器。

圖 6. 從首次發布到專案結束的完整歷程圖:各輪搜尋提出的構想、構想所形成的 worktree,以及參與其中的代理,並標示每個構想最後是保留或捨棄。

架構創新

完整介紹這套架構細節,足以另寫一篇文章。因此,我們選擇聚焦在我們認為新穎或有創意的功能,並凸顯我們的系統推進硬體設計前沿的能力。

Frostbite 的程式以 Vine 撰寫。2 Vine 是一種完整的程式語言,語法類似 Rust。Vine 程式會編譯成 Ivy,這是一種編碼互動網路結構的中介表示法(IR)。最佳化器也會盡可能套用圖形化簡規則,因此最後產生的 Ivy net(名稱由此而來)形狀大致固定,由三種基本元素組成:資料、運算節點與控制節點。然而,這個網路在執行時仍然非常動態,因為不同於典型的運算圖,其平行處理能力會編碼在結構中,並隨時間以管線方式執行;這裡的平行處理能力必須在執行時根據狀態推導,並以空間方式透過管線執行。最初的簡易實作速度很慢,因此我們的代理程式只好發揮創意。

產生的 ISA 來自這些限制。其中有許多設計都在意料之中:寬位元組、硬體迴圈計數器與串流。我們覺得動態功能更有意思,尤其是從網路其他部分取得、窺看及複製值的操作;這些部分會平行執行。接著,各個運算磚便開始運作,在空間中彼此通訊。

圖 7. Frostbite 的程式碼到硬體流程。第一次呼叫會填入晶片,之後由它發出的呼叫會跟著執行,以遞迴方式重複使用相同節點,直到所有運算磚同時運作。遞迴程式會分散到空間中。

湧現特性:竊取工作

由於平行處理能力分散在空間中,因此沒有中央排程器。相反地,我們看到代理程式設計出優雅的工作傳遞規則。運算磚遵循三項規則:先執行自己的工作,也就是輸入埠中的工作。如果輸入埠是空的,就從有多餘工作的相鄰運算磚取得工作。如果找不到這樣的運算磚,就可以進入非作用狀態以節省電力。

代理程式展現了高超的實作技巧。以下是單一 Frostbite 運算磚的硬體:

Block diagram of one Frostbite tile: the front end, the engine, the memory and the system blocks, with the runtime (frame manager, scheduler, work queue, outlet) and the network interface highlighted, and the router, static switch, quad divider and configuration bus outside the tile.

圖 8. Frostbite 運算磚。方框界定了各區塊的範圍。

其中有許多區塊應該都很熟悉。我們特別關注 RUNTIME 範圍,它負責前述的工作竊取行為。

編譯器會將程式碼拆成短小區段,待輸入就緒後便會不中斷地執行。這些區段會在引擎中執行,並大多透過前端,以傳統運算方式組織。當迴圈或分支拆成大小無法預先得知的平行部分時,正在執行的區段會將後續工作暫存到本機記憶體中的小型記錄,也就是框架管理器。接著,它會將新工作放入名為工作佇列的硬體佇列,並自行取出最新的一項執行。閒置的相鄰運算磚就能透過網路取走剩餘工作。當晶片各處的工作以任意順序完成時,回傳封包會遞減暫存記錄中的計數器,並在最後一個部分送達的瞬間自動喚醒下一個區段。

硬體中的運作方式如下:

圖 9. 運算磚如何分擔工作。

我們可以把每個「工作」想成目前棋盤的一個狀態:往下遞迴一層,並多放一個皇后。Tile 0 必須先將所有可能的皇后配置排入佇列,總共三項工作,才能完成目前的棋盤狀態。它目前沒有工作,因此會取出最新的一項(來自自己)並開始執行。與此同時,相鄰運算磚已各自取得其他工作,只有 Tile 5 回到休眠狀態。

這種行為從未經由任何人明確規定。我們可以直接追溯到特定回歸測試的需求,以及透過爬山法最佳化效能指標的結果。

結果

我們以 7 nm 製程合成 Frostbite,合成時序達到 800 MHz,最終 GDS 則達到 500 MHz。每個 Frostbite 四核心叢集(由 2×2 個 tile 組成)搭配四個 L3 節點,面積為 0.792 mm²。我們以一個四核心叢集加上 L3 的組合,對比現代超純量(雙發射、循序執行)CPU 的單一核心,並將後者稱為 TCPU(「傳統 CPU」)。這顆 TCPU 採用相同製程,面積為 0.895 mm²。†

Layout of the Frostbite chip, a four-by-four array of identical tiles with memory macros in pink. The top-left two-by-two tiles are outlined and labelled Frostbite quad, and one block on the left edge is outlined and labelled L3 node.

圖 10. Frostbite 在 7 nm 製程下的配置圖,包含 4×4 個 tile,並以外框標示一個 Frostbite 四核心叢集(2×2 個 tile)和一個 L3 節點。

我們在各種工作負載上進行基準測試,範圍從 gemm 和 conv2d 等密集平行核心程式,到 JSON 剖析、Huffman 編碼、k-d 樹和遞迴 Fibonacci 等不規則分支程式。我們以一組搜尋工作負載來驅動所有架構最佳化、ISA 設計、RTL 與驗證;晶片則以 10 項搜尋集工作負載,以及 15 項保留工作負載進行評估,其中包括後來加入的五項實用工作負載(圖 3)。

為了公平比較,我們先以一個 Frostbite 四核心叢集對比 TCPU,測量「單核心」效能,因為兩者面積相近。在所有工作負載中,平均效能面積比達 8.77 倍;在搜尋集與保留集合計的全部 25 項工作負載中,Frostbite 的每瓦效能幾何平均值達 TCPU 的 4.59 倍:在 10 項搜尋集工作負載中為 6.02 倍,在 15 項未經調校的保留工作負載中則為 3.83 倍。正如預期,這種架構在高度可平行化的工作上表現最佳,但在具分支的動態程式碼上也勝過 TCPU。

Bar chart of the Frostbite quad's performance-per-watt relative to the TCPU across 25 workloads, search set in blue and the held-out eval set in light blue, from 23.12x on conv2d (eval set) down to 1.15x on fib (eval set), with dashed lines at the geometric means: 3.83x on the eval set, 4.59x across all 25, and 6.02x on the search set.

圖 11. 在 25 項工作負載中,一個 Frostbite 四核心叢集相對於 TCPU 最佳建置的每瓦效能:包含搜尋集中的 10 項,以及評估保留集中的 15 項。虛線標示評估集、全部 25 項工作負載,以及搜尋集的幾何平均值。

Stacked bars of energy share: TCPU 57% memory, 27% fetch, decode and issue, 13% computing; Frostbite quad 38% memory, 6% fetch, decode and issue, 16% computing, 26% on-chip network and scheduler, 14% other; four-by-four Frostbite 40% memory, 7% fetch, decode and issue, 18% computing, 23% on-chip network and scheduler, 11% other.

圖 12. TCPU、一個 Frostbite 四核心叢集,以及完整 4×4 Frostbite 晶片的各功能耗能佔比,不含時脈分配。數值為 20 項工作負載的平均值。

能耗分析呈現了節能的來源。不計時脈分配(佔 TCPU 能耗的 49%、Frostbite 四核心叢集的 41%),TCPU 有 57% 的能耗用於記憶體,另有 27% 用於擷取、解碼及發出指令。Frostbite 將記憶體能耗降至 38%,並將擷取、解碼及發出指令的能耗降至僅 6%。相對地,它有 26% 的能耗用於晶片內網路和排程器,這是共享工作並在 tile 之間傳遞訊息所需的成本。更令人振奮的是,當晶片擴充套件為 4×4 陣列(四個四核心叢集)時,功耗分佈大致不變。在通用多核心 CPU 架構中,增加核心數量需要加入龐大的快取和複雜的快取一致性機制;而執行互動網路時,資料區域性規則始終相同,增加核心也不會提高系統複雜度。下圖展示了這一點。未來幾個月,我們將以更多業界基準測試(例如 SPEC 和 PARSEC),比較網格類 Frostbite 組態與配備大型快取的多核心「TCPU」組態,以及核心數更多、管線更寬且採用非循序執行的 CPU。

Schematic floorplans side by side: a TCPU with eight cores, each with its own L1 and L2, around one large shared L3; and Frostbite, an eight-by-eight grid of tiles, each with a small memory block of its own.

圖 13. 記憶體的位置。多核心 TCPU 會在各核心間共用由 L1、L2 與 L3 快取組成的深層階層;Frostbite 則為每個 tile 配置專屬的小型記憶體。示意圖,非按比例繪製。

接下來的發展

互動網路(interaction nets)問世至今已超過 35 年,但其在實際生產上的價值始終未能完全明朗。過去,探索超出當時常見分佈範圍的架構,總伴隨著風險,因為要投入時間、人力與資金,才能形成明確判斷。我們相信,AI 從根本上改變了這些成本效益。在追求更高效能與更低功耗的過程中,工作負載、ISA 與硬體之間的極致協同設計需求將持續增加。透過大規模代理系統、精密的搜尋空間技術、明確的限制條件、形式驗證,以及更快速的 EDA 工具,AI 系統將能找出並打造新型加速器,品質甚至超越人類的認知能力。還有許多工作要做,但我們認為,現在正是向世界展示自主晶片設計未來樣貌的好時機。我們計畫持續擴大 Frostbite 的開發,包括但不限於:

  • 提供軟體遊樂場,讓任何人都能在 Frostbite 上執行程式,並透過 FPGA 託管。
  • 打造初步作業系統,能管理硬體資源、多個程式、虛擬化等功能。
  • 擴大代理系統規模,提升 Frostbite 的每瓦效能,並以更多元的工作負載,和更廣泛的 CPU 進行基準測試。
  • 公開 Frostbite 的 RTL 與 ISA。

我們做得很開心!

附註

†基於法律因素,我們無法透露 CPU 的確切型號。

參考資料

  1. 1.Lafont, Y.(1990)。〈互動網路〉。《第 17 屆 ACM SIGPLAN-SIGACT 程式語言原理研討會論文集》(POPL ’90),95–108。doi:10.1145/96709.96718
  2. 2.Vine 程式語言。vine.dev
  3. 3.Tendrils(2026)。〈關於互動網路〉。tendrils.co/blog/2026-04-26/on-inets
  4. 4.de Moura, L. 與 Ullrich, S.(2021)。〈Lean 4 定理證明器與程式語言〉。《自動演繹:CADE 28》,LNCS 12699,625–635。doi:10.1007/978-3-030-79876-5_37
來源: hackernews100 (architectlabs.com)
開啟原文

讀者討論

理性交流 · 即時討論