Meta 發布 Prometheus 吉瓦級超級叢集，計畫擴至 100 萬 GPU

隨著 Muse 系列基礎模型的最新發布，我們想帶您進入使其成為可能的基礎設施。
Prometheus 的第一階段，我們的吉瓦級超級叢集，已經完成，我們正致力於將其擴充套件至約 ~1 million GPUs。
Prometheus 還具備閉環液體冷卻等技術，協助其高效運作。

目前在俄亥俄州的新奧爾卜利，Meta 正在進行迄今為止最雄心勃勃的 AI 基礎設施專案。Prometheus，我們的吉瓦級超級叢集，是我們基礎設施的一項進步，正在訓練下一代基礎模型，將為數十億人帶來全新的 AI 體驗。

兩年前，新奧爾卜利是一個傳統的資料中心，處理網路流量。隨著硬體、網路和建築設計的進步，我們將此地重新設計為前沿模型訓練的基地。我們分階段建置超級叢集。第一階段已完成並用於訓練我們的Muse 基礎模型，包括Muse Wonder模型，我們的新前沿模型，在個人與專業代理任務上提供最先進的表現。

大型訓練工作需要一切運作最佳才能維持其效能；單一主機的問題可能會降低整個工作的「goodput」。透過著重提升系統的穩定性與可靠性，我們已達成預訓練跑的 goodput 超過 85%，Muse Wonder 的強化學習（RL）跑則超過 90%。在這些訓練跑中，我們達成了平均中斷間隔（MTBI）約 47k GPU 小時。此後，我們在整個車隊中推出更多變更，包括韌體修正以將 MTBI 提升至超過 54K GPU 小時，且我們持續改進。

現在，我們正以 Meta 超級智慧實驗室的下一代前沿模型為目標，繼續擴充套件 Prometheus。

Prometheus 超級叢集位於 Meta 的新奧爾卜利俄亥俄州資料中心。

超級叢集：開啟全新 AI 能力

今日，Prometheus 包含數十萬顯示卡，分佈於多座互聯建築，包括傳統與 AI 最佳化的資料中心建築及快速部署結構，所有建築皆透過數英里光纜緊密連線，並以單一機器運作。

此容量使我們能夠追求比以往更大模型與更長上下文視窗。到達完整規模時，Prometheus 將包含約 100 萬顯示卡，全部同步運作。

多代 AI 硬體

Prometheus 目前部署了兩個 NVIDIA GPU 平臺，第三個（基於 NVIDIA 的 Vera Rubin NVL72）即將到來。每一個都代表了效能與效率的世代飛躍，利用我們的 NVL72 機架架構，在同一網路結構中 72 個 GPU 作為單一加速器運作。

Catalina：NVIDIA GB200

我們的第一個平臺， Catalina，採用 NVIDIA GB200 NVL72。我們部署 Ariel 變體，一個兩機架配置，每機架 36 個 GPU 透過 NVLink 互連，形成統一的 72 GPU 域。Catalina 在原始運算與記憶體容量上相較於 Grand Teton H100 有提升。它利用我們的 Open Rack V3 (ORv3) 高功率機架 (HPR) 結構，這是一個貢獻給 Open Compute Project (OCP) 的開源硬體設計。

GB200 NVL72 的 Ariel 變體將每顆 NVIDIA Blackwell GPU 與一顆 NVIDIA Grace CPU 以及 2 顆 NVIDIA ConnectX-7 400G NIC 配對，CPU 與 GPU 的比率為 1:1，讓我們比業界其他公司更早地為每顆 GPU 部署 800G I/O。我們選擇 Ariel 是因為 GB200 NVL72 相較於 NVIDIA H100 在幾乎所有其他維度上都擴大：FLOPS、HBM 頻寬、擴充套件頻寬和擴充套件域大小，而每顆 GPU 的水平擴充套件頻寬本來會保持在 400G。我們預期這種不平衡會降低效能，因此選擇了每顆 GPU 提供 800G 水平擴充套件的組態。這也讓我們的規格隨著領域擴大而變得更統一，並在 800G 水平擴充套件可用時達成一致。

\nCatalina GB200 NVL72 的功能:

72 NVIDIA Blackwell GPUs 搭載 13.4 TB HBM3e（192 GB 每顆 GPU）。
720 峰值 PFLOPS FP8 訓練計算 (1,440 PFLOPS FP4)。
130 TB/s 峰值 NVLink 頻寬 在域內。
576 TB/s 峰值總記憶體頻寬。
~120 kW 總系統功耗 跨雙機架對。

Clemente: NVIDIA GB300 NVL72

我們的第二個平臺 Clemente 移轉至 NVIDIA GB300 NVL72，並在 GPU 及平臺層面上優於 Catalina。GB300 將每顆 GPU 的 HBM 容量提升 1.5 倍，從 192 GB 增至 288 GB，並以相似比例提升 FP4 密集度，近乎翻倍注意力（softmax）加速。在平臺層面，水平擴充套件已不再是 GB200 NVL72 的限制：NVIDIA ConnectX-8 SuperNIC 以原生方式提供每顆 GPU 800G，因而我們早期在 Ariel 部署的能力成為基準。這與 2:1 GPU-CPU 比率結合，使 Clemente 能將完整 72 顆 GPU 域壓縮排單一機架，簡化實體部署。Clemente 可搭配我們的模組化空氣輔助液體冷卻（AALC）部署，或在我們新設計的資料中心使用 Facility Liquid Cooling（FLC）。維護性亦大幅提升，減少線纜。

Clemente GB300 NVL72 的功能:

72 NVIDIA Blackwell Ultra GPUs 搭載 20.7 TB HBM3e（每顆 GPU 288 GB，較 GB200 多 50%）。
峰值 FP4 計算超過 1 exaFLOP。
130 TB/s 峰值 NVLink 頻寬 (每顆 GPU 1.8 TB/s 雙向)。
~135 kW 機架功耗。
5-10% 效能提升 相較於 GB200 NVL72。

連線 Supercluster

在傳統的網路服務中，資料中心網路負責傳輸請求與回應，服務例項通常不需要高頻寬、高效能，以及在多個伺服器間進行緊密、同步的協調。大規模 AI 訓練需要所有這些，意味著連線它們的網路現在成為 AI 工作負載的重要部分。為了最佳化處理此問題，除了連線伺服器的標準資料中心網路外，數年前我們加入了以乙太網為基礎的第二專用資料網路，稱為後端 (BE) 網路，以實現資料中心內外 GPU 之間的直接 GPU-to-GPU 通訊。

大型預訓練工作將訓練分割成資料並行模型複本，形成網路使用的層次結構：延遲敏感與頻寬敏感的操作集中於單個複本內，而對較高延遲與較低頻寬更寬容的流量則安排於複本之間。我們的網路設計以符合此層次結構，在建築內提供低延遲、高頻寬的布線，並以聚合網路連線各建築布線。

我們與 Meta Superintelligence Labs 密切合作，確保並行設計、流量模式、通訊演算法與軟體被最佳化，以最小化任何網路通訊的暴露。這使 GPU 能盡可能忙碌，避免等待網路。

Meta 團隊在以往的建築規模、24K GPU 叢集和我們的區域規模、100K+ GPU 叢集中已經運用了這些網路概念，並在最近幾年將其推向 Prometheus 的更大規模與更遠距離。

Network Fabrics

在建築層面，每個以乙太網為基礎的布線可透過高頻寬、低延遲的多層拓撲互連多達 20,736 個 GPU。我們最初的設計使用了Disaggregated Scheduled Fabric (DSF)，以緩解由訓練集體造成的網路擁塞，這些集體通常只有少量大型、長期存在的網路流，傳統負載平衡技術會導致衝突；它透過子封包級多路徑路由與封包重新排序，以及虛擬輸出佇列和基於信用的端到端流量控制，來解決此問題。

隨著乙太網 NIC 技術進步，能在終端執行封包重新排序，我們能升級為Non-Scheduled Fabric (NSF)，利用淺緩衝 51.2T 乙太網交換機，例如帶有動態負載平衡的 Minipack3，以及 NVIDIA Spectrum-4 交換機 ASIC 基於的Minipack3N，搭配 NVIDIA 的 Adaptive Routing 在 ConnectX NIC 上。DSF 與 NSF 均基於 Meta 的FBOSS networking stack，讓我們能快速迭代並最佳化 Prometheus 的布線，並能在大規模運營這些叢集。

Aggregation

Backend Aggregation (BAG) 網路是一個 Backend Aggregation (BAG)網路是一個多層樞紐-星狀網路，連線 Prometheus 叢集中跨建築層級的網路結構，覆蓋距離從 2 公里到超過 100 公里。它使用 Arista 7800 系列機箱搭載深緩衝 Broadcom Jericho3 晶片，為每個區域對提供多個 Pbps 的頻寬。

在此網路上執行預訓練需要與 Meta Superintelligence Labs 進行專門的最佳化工作，以確保訓練不被延遲，尤其考慮到這些距離下的光速限制。

將這些整合起來，Prometheus 網路的複雜度涉及數百萬英里纖維、數萬臺交換機以及數百萬個光學模組——從建築內的 2×400G FR4 LITE 短距離、低成本可插拔模組，到超過約 10 公里連結的 800G‑ZR 相干光學模組。

工程可靠性於每個層級

在 Prometheus 的規模下，每個元件都必須被監控以確保可靠性。任何地方的一個故障都可能中斷整個訓練工作並浪費寶貴的計算資源。

在此層級維持可靠性需要與 NVIDIA 共同工程模式，超越傳統供應商動態。團隊深度嵌入我們的資料中心，分享即時遙測資料並進行聯合排障會議，將每一次系統停滯拆解至根本原因。

此以歸因為導向的負責任模式確保雙方都專注於針對性改進。Meta 最佳化排程與基礎設施，NVIDIA 處理韌體、訊號診斷與記憶體管理。此透明度消除歧義，並促進雙方更快地修復問題。

72‑GPU 故障域

從 H100 代的 NVL8 架構過渡到 NVL72，根本重新定義了我們對基礎設施韌性的方式。在 NVL8 時代，擴充套件域——通過 NVLink 緊密耦合以實現張量並行的 GPU 群組——僅限於八個單元。使用 NVL72 時，該域擴充套件至 72 個 GPU，將故障衝擊半徑提升 9 倍。

更大的擴充套件域是 NVL72 帶來頻寬優勢的原因，但它也使 72 GPU 機架成為我們規劃容量時的分配單位。訓練並行度最有效地對映到 2 的冪次組大小，因此每個 NVL72 域執行 64 GPU 切片，並將其餘八個 GPU 作為機架備援。當 GPU 失效時，備援立即取代其位置，工作從最後一次檢查點重新啟動，而不是等待硬體維修，機架仍在工作。機架內冗餘將有效機架故障率降至只能移除整個 pod 的故障門檻；對於較少發生的整機架故障，我們保留約 2% 的額外機架作為備援。對於 32,768 個活躍 GPU 的訓練執行，這意味著需要配置 523 個 NVL72 機架，即 37,656 個 GPU，約比活躍足跡高 13%。這個邊際（11%）主要來自 64/72 切片幾何，而非絕對可靠性稅。

物理複雜度進一步加劇了這些可靠性需求。一個 NVL72 域包含 5,184 個經調校的差分對訊號連結，運作速率為 200 Gbps，每個連結都經過多個潛在失效點，包括 GPU SerDes、計算托盤 PCB、線纜卡盒以及交換器托盤介面。在這種密集結構中維持 200 Gbps/通道的連續訊號完整性，代表了前所未有的工程挑戰。

故障恢復

故障恢復說明我們如何回應故障以最小化對訓練時間的影響。根據故障的範圍（即破壞範圍），我們透過兩種機制來處理：

Parallelism-Aware Fault Tolerance (PAFT): 當故障可被隔離到資料並行模型複本時，我們透過允許單一故障複本離線，減少硬體失效的影響，其餘叢集重複該步驟並繼續有效訓練。受損切片只需在可用備援主機上重新啟動並重新同步，將潛在的整體系統停機轉化為較小、臨時的總吞吐量下降。

Checkpointing: 當故障破壞範圍超過資料平行模型副本時，整個工作將從最後一次檢查點重新啟動；頻繁的檢查點可減少這些事件造成的工作損失。我們的分散式檢查點架構非同步儲存模型狀態——包括梯度與最佳化器資料——至多層儲存。採用差分檢查點與記憶體暫存，確保這些儲存對訓練吞吐量的影響最小。

這兩種故障恢復機制結合了利用預先分配的備援 GPU 托盤以及備援機架的節點策略，以縮短上線替換硬體的時間並降低因硬體失效造成的工作損失。

系統性減少中斷

在訓練前沿模型時，基礎設施可靠性需要超越單純可用性的觀點。根本挑戰在於在不頻繁系統停頓的情況下維持訓練勢頭。在 Prometheus 中，我們將 interruption 定義為任何故障——從 GPU 矽片缺陷、網路結構異常到儲存瓶頸或熱限制——迫使工作暫停並啟動恢復週期。

這些中斷帶來巨大的運營開銷，因為我們的工作負載高度相互依賴；在一個 72‑GPU 域內的單一故障可能影響整個叢集的總吞吐量。此效能損失直接影響我們的工程迭代速度，導致計算效率降低且交付先進 AI 體驗至數十億人所需的時間更長。

在 2025 年中期 Prometheus 的初期階段，我們的中斷率達到每日每 8K GPU 接近 1,000 次事件的峰值。經過一年嚴謹的跨部門工程，我們已將中斷減少 99%，使叢集能同時支援數萬 GPU 的多個訓練工作。

實現此穩定性需要對每個中斷來源進行細緻分解，隨後針對每個失效類別部署針對性的工程解決方案：

NVLink 訊號完整性：GB200 部署的最初主要瓶頸。擁有超過 600,000 個 NVLink 連線，即使輕微的訊號退化也會觸發頻繁的 NVLink 恢復迴圈。我們實施了連續遙測與自動標記，利用 L11 診斷燒錄在生產前隔離弱連結。我們的分類工具能區分瞬態故障與持續的訊號完整性失效，指導針對性維修與元件更換，並在將修復系統重新投入生產前進行驗證。

記憶體可靠性（HBM 與 LPDDR）：隨著 GB300 隨更高記憶體容量擴張，記憶體相關故障成為中斷的主要來源。我們與 NVIDIA 密切合作，利用車隊遙測與詳細錯誤分析，識別重複失效簽名，並透過最佳化 HBM 韌體設定、記憶體掃描、改進 LPDDR 錯誤更正演算法，以及基於模式的預測偵測，提前淘汰退化裝置，避免其影響工作吞吐量。我們正將這些變更部署至整個車隊，並衡量其對中斷率與硬體更換需求的影響。

NVLink 交換機與網路健康：單一交換機故障可能損壞整個 NVL72 域。我們以毫秒級解析度監控網路健康，使用自動恢復路徑隔離故障元件，並在不造成工作中斷的情況下，重新平衡剩餘基礎設施的流量。

後端網路事件：在 BAG 超脊層，連結事件透過硬體基礎的故障偵測透明管理。我們的平面拓撲確保單一光纖或埠位失效時能重新路由，而不會中斷同步的 GPU 流量突發。

持續改進由我們的營運基礎設施推動：位於 New Albany 的同機房分診團隊、3 月的全面穩定性衝刺同步整個堆疊的修復，以及嚴謹的以歸因為導向的負責制框架。每一次維修都須經過強制性隔離，以驗證系統完整性，才可返回運算池。

我們的可靠性北極星仍是每天每 8K GPU 兩次中斷，即約 100k GPU 小時 MTBI。將峰值中斷率降低 99% 表明，在 Prometheus 的規模下，穩定性是可解決的工程挑戰。

硬體在車隊規模的成熟

部署數十萬臺第一代加速器揭示了在低量級隱藏的品質問題。GB200 部署將硬體成熟化轉變為我們團隊與合作夥伴的主要工程學科。

工程領域包括：

快速韌體包部署：我們打造了可靠且快速的韌體包自動化，能在數小時內將韌體與驅動修正部署至超過 100k GPU。我們已將單一 pod 升級時間的 P90 從早期硬體推出時的七小時降至兩小時。這使我們能將針對主要中斷類別的快速修復推送至車隊。
Fleet Health: 我們在多機架系統中對遠端感測資料進行關聯，並分類每一次工作中斷，以指導軟體修正、硬體維修與更換決策。我們追蹤 MTBI 與可用容量及有效訓練吞吐量，並擁有強健的回饋迴路，以提升硬體與軟體可靠度，轉化為更高效的運算。
Cross-Partner Qualification: 與多家製造夥伴並行驗證，以透過我們的生產機群持續回饋確保品質一致。
Automated Signal Screening: 在任何生產流量路由前，使用診斷性壓力測試驗證超過 600,000 條 NVLink 路徑。即使在此規模下微小的缺陷率也需要主動識別。
Power Delivery Stress Testing: 研究 PSU 模組與電壓調節器在單個 GPU 1,400W 負載下的互動，以揭示僅在高容量時才出現的失效模式。
Precision Liquid Cooling: 對冷板與歧管組裝執行嚴格品質門檻，維持最佳接點溫度並防止機群漏液。
Fleet Maintenance: 主動準備、快速處置、優先修復並預先配置備件。
Health Checks: 使用先進的資料吸收/燒錄與工作前健康檢查，以辨識適合納入大型訓練作業的健康節點。

每一項新平臺架構——從 Blackwell 到 Vera Rubin——都納入這些實際運營洞見，在每一步都加緊篩選與設計規範。

最佳化電力與管理瞬變

最大化吞吐量在給定電力範圍內，最大化吞吐量、降低閒置電力，並同步分散式訓練會帶來供電挑戰。數萬個 GPU 同時執行計算密集階段與通訊週期，會引發大規模電力瞬變——叢集內負載突變 30-40%。啟動或暫停大型訓練工作，僅需數秒即可改變數十兆瓦的負載。

我們透過 Dynamo Dimmer 我們的全機群供電管理框架，能啟用智慧電力限制。Dimmer 在機群接近電力上限時，會逐步調整 GPU 電力上限，確保訓練不中斷。此係統由機架層電池備援（BBU）模組即時處理峰值、電容托盤（CBU）平滑峰值、設施層電池儲能系統（BESS）以及與電力供應商深度協調，以管理這些獨特的 AI 負載。

管理異質機群的冷卻

雖然我們的分散式方法使我們能快速構建 Prometheus，但也意味著必須在不同地點處理場站特定的電力與冷卻限制。

我們的實體基礎設施結合多代冷卻技術，以提供這些高功率機架所需的液體冷卻。Prometheus 以模組化的空氣輔助液體冷卻（AALC）為主，包括我們的無風空調資料中心大樓和快速部署結構。專為 AI 最佳化的建築現在使用設施液體冷卻（FLC）以達到最高功率密度。

透過整合來自戰略合作夥伴的租用容量以及我們自己的建築，我們加速部署時程和總可部署容量。與此同時，我們的工業級快速部署結構重新定義了建設流程，提供更快時程的可投入生產的運算。

高效運營

在 New Albany，我們長期與當地公用事業合作，確保我們為站點支付全部能源成本，且不對當地電網造成不必要的負擔。我們亦與能源開發商合作，將能源使用與新的清潔可再生能源相匹配。

Meta 最新的 AI 最佳化資料中心採用 closed-looped, liquid cooling，因為它是冷卻 GPU 伺服器最有效的方式，並支援水資源的高效利用。直接對晶片的 closed-loop 液冷可節省空間，讓我們能在機架上安裝更多 GPU。我們還透過 IcePack 這樣的液冷網路機架設計與更廣泛的產業分享，並透過 OCP 擴充套件我們的永續性工作。

超越 Prometheus

我們將持續與 NVIDIA 密切合作，透過混合使用 NVIDIA GB300 NVL72 與 NVIDIA Vera Rubin NVL72 擴充 Prometheus 的容量。

NVIDIA 的下一代 Vera Rubin NVL72 平臺將在每個 GPU 的效能上帶來世代飛躍，並直接整合進 Prometheus 現有的網路結構。隨著叢整合熟，它將透過即將推出的 San Miguel 平臺，以 Vera Rubin 擴充其容量（主要是互連的 GB300），進一步提升每瓦特的運算效能。

San Miguel Vera Rubin NVL72 將具備以下特色：

72 NVIDIA Vera Rubin GPU 具備 288 GB HBM4 及每 GPU 19.2 TB/s 峰值頻寬。
每機架 2.52 峰值 EFLOPS FP4 訓練算力 1.26 峰值 EFLOPS FP8 訓練算力。
216 TB/s 峰值 NVLink 頻寬（每 GPU 3 TB/s 雙向）。
約 1,500 TB/s 峰值總記憶體頻寬。
全液體冷卻 的運算托盤，單機架功率超過 170 kW。
相較於 GB300 NVL72，提升 10-20% 的每瓦特效能。

The technological accomplishments within Prometheus have helped establish the blueprint that will inform how we approach the complexity of supercluster design going forward. Hyperion, our upcoming supercluster in Richland Parish, Louisiana, is being designed from the ground up with insights from Prometheus in mind. It will feature closed-loop liquid cooling, full grid connectivity with our utility partner Entergy, for which Meta pays the full cost, and next-generation network designs.

瞭解我們的社群努力於新奧爾巴尼.