Cerebras 把提示處理交給 GPU,讓每單位電力服務更多文字
Cerebras Disaggregated Inference
AI 服務需求增加,但資料中心的電力有限,業者需要在維持回應速度的同時服務更多請求。
- Cerebras 將工作拆成兩段:AMD Instinct GPU 處理提示,Cerebras CS-3 負責逐字產生回答。這套做法已用在 Cerebras Inference Cloud 的正式服務中。
- 公司表示,相較只用 CS-3 的配置,每單位電力可處理的文字量提高到 5 倍,生成速度沒有降低。合作夥伴也能採用 Cerebras 提供的架構和軟體,或接上自己的提示處理工具。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Cerebras 在正式服務中比較分開處理提示與生成的做法,呈現它如何在不降低生成速度下提高每單位電力的服務量。
我們已將 Cerebras Wafer Scale Engines 與 GPU 搭配部署,大規模提供閃電般快速的 token
全球對超高速 token 的需求十分旺盛。2026 年,無論是在我們的推論雲端,或透過合作夥伴,Cerebras 都看到對高速推論的需求有增無減。為了滿足需求,我們開始開發分離式推論:由 GPU 負責提示詞處理(prefill),Cerebras 系統則負責輸出生成(decode)。
這項解決方案目前已投入正式環境,在維持 Cerebras 超高速的同時,每百萬瓦可提供的 token 數量提升至五倍。
現在,我們可以透過 Cerebras Inference Cloud 提供更多超高速 token,以滿足市場需求。基礎架構合作夥伴也能運用 Cerebras 的分離式解決方案,在自家資料中心提供更多超高速 token。
除了近期公佈的 CS-4、大幅擴增的製造規模,以及規劃中的 700MW 資料中心容量,分離式推論也將讓 Cerebras 與合作夥伴在 2027 年及之後提供更多超高速 token。
這篇部落格將介紹:
- 對更多超高速推論容量的需求
- Cerebras 在 decode 上的優勢
- Cerebras 分離式推論的正式環境成果
- 提供給基礎架構合作夥伴的 Cerebras 分離式推論
對更多高速推論容量的需求
Muse、Copilot 和 Codex 等代理式應用快速擴充套件,需要高度互動的推論才能持續吸引使用者。在電力受限的環境中,為滿足這些應用日益增加的需求,整個產業必須大幅提高每百萬瓦所能提供的推論容量,同時維持足以讓這些應用實用的回應速度。
資料來源:Goldman Sachs Research,〈AI Agents Forecast to Boost Tech Cash Flow as Usage Soars〉,2026 年 5 月 20 日;Goldman Sachs 資料中心容量估算,據 Investing.com 於 2026 年 11 月 6 日報導。
這就是 Cerebras 投入分離式推論的原因。將用於提示詞處理的 prefill 加速器,與負責生成回應的 Cerebras System 搭配,可在維持 Cerebras 超高速生成速度的同時,提高每百萬瓦的 token 吞吐量。對推論服務供應商而言,這代表能以相同的電力預算服務更多客戶,並創造更高的營收潛力。
Cerebras 在 decode 上的優勢
推論請求主要分為兩個階段。提示詞處理(prefill)會處理輸入內容,並產生模型的中間狀態。回應生成(decode)則運用該狀態生成輸出 token。推論工作負載有許多拆分方式,包括 draft–target 和 attention–FFN 等;但若目標是實現高度互動的推論,將 prefill 與 decode 分開具有獨特優勢。
Decode 採用自回歸方式運作,也就是模型一次生成一個 token,並將每個生成的 token 作為輸入,用來生成下一個 token。每一步都必須再次從記憶體讀取模型資料,因此記憶體頻寬非常重要。在超高速推論領域,以 SRAM 為核心的晶片具有優勢,因為它們能將資料留在晶片上,並以快得多的速度讀取。Cerebras 將這項設計擴充套件至晶圓級,單一晶片具備數十 GB 的 SRAM 和每秒數十 PB 的記憶體頻寬,分別是典型 GB300 GPU 的 350 倍 SRAM 容量和 5,400 倍記憶體頻寬。這讓 Cerebras System 能將更多並行請求與模型層直接放在晶片上,使 CS-3、CS-4 和 CS-5 能以具吸引力的吞吐量達到超高速。
Cerebras 分離式推論的正式環境成果
將針對超高速解碼最佳化的 Cerebras 系統,搭配適合處理提示詞預填充運算需求的加速器(例如 AMD Instinct GPU),即可大規模提供龐大的超高速推論能力。在 Cerebras Inference Cloud 的正式環境部署中,AMD Instinct GPU 負責處理提示詞,Cerebras CS-3 系統則產生回應。將提示詞處理交由 GPU 負責後,Cerebras 系統就能將服務容量用於產生回應。在我們測得的正式環境部署中,這種組合每百萬瓦的吞吐量是僅使用 CS-3 組態的 5 倍,且不會降低 Token 生成速度。
來源:11 月 14 日透過 Cerebras Inference Cloud 提供的 GPT-OSS-120B 共用端點;啟用分離式推論前後的每百萬瓦吞吐量,以彙總式推論基準(1×)正規化。
我們計畫在 Cerebras Inference Cloud 及合作夥伴的部署環境中,於 2027 年底前將分離式推論擴充套件至數百百萬瓦的規模。我們的目標是提升可供客戶使用的超高速推論容量。
提供基礎架構合作夥伴使用的 Cerebras 分離式推論
Cerebras 分離式推論解決方案也專為合作夥伴採用而打造。基礎架構合作夥伴可依據 Cerebras 提供的參考架構部署分離式推論叢集,並在統一網路中共同配置自行選擇的預填充加速器與 Cerebras 系統。在軟體整合方面,合作夥伴可選擇整合 Cerebras 端到端分離式軟體堆疊,或採用僅供解碼使用的 SDK。
端到端分離式軟體堆疊最適合希望縮短上市時間的合作夥伴。其組成包括:
- 分離式推論架構,用於在預填充與解碼資源池之間路由請求,並管理副本容量與健康狀態。
- 預填充引擎,使用 vLLM 或 SGLang 等開放原始碼推論引擎處理提示詞。
- Cerebras 解碼引擎,在 Cerebras 系統上產生回應。
- KV Portal 軟體,提供介面,透過 RDMA 在預填充與解碼引擎之間傳輸中間模型狀態,包括鍵值快取。
僅供解碼使用的 SDK 最適合希望自行掌控的合作夥伴。使用此 SDK,合作夥伴可以將自有的推論架構與預填充引擎,接上 Cerebras 解碼引擎和 KV Portal 軟體。此外,SDK 也提供開發輔助工具,例如模擬用的 Cerebras 解碼副本,以及整合至開放原始碼分離式推論架構與預填充引擎的參考實作。
包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute 在內的早期存取合作夥伴,已可在其部署環境中使用 Cerebras 分離式推論解決方案。我們目前正擴大開放給更多合作夥伴,協助他們大規模為客戶提供超高速推論。
如需進一步討論成果、解決方案或部署機會,請聯絡我們。