跳到正文
Latent Space(youtube.com)· swyx·· 3 天前精選AI 評分85

可程式化的資料中心——SF Compute 執行長 Evan Conrad

可程式化的資料中心——SF Compute 執行長 Evan Conrad

AI 導讀

SF Compute 執行長 Evan Conrad 主張,由於硬體異質性與韌體風險,算力無法標準化成可互換的單位,因此現金結算的期貨必須以實物交割為基礎;推論每小時可賺 25 至 40 美元,而 B300 租金僅每小時 5 至 6 美元。

🎙️

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文 · 原文

SF Compute 共同創辦人 Evan Conrad 主張,運算交易市場唯有以實物交割為後盾——也就是真的能把 GPU 交到買方手上——才行得通;而既有業者誰都做不成這件事,因為要做就得放棄支撐他們本業的推論與雲端營收。這場對談主要圍繞這個市場的運作機制:委託單簿如何處理異質硬體、遠期曲線長什麼樣子及其成因,以及流動性怎麼衡量。標題裡的「可程式化資料中心」只是其中一項功能;整集節目的主體是市場結構,以及 SF Compute 為了完成交割而必須自行打造的營運堆疊。

Conrad 大約兩年前(2024 年前後)曾上過這個節目,當時 SF Compute 還叫 Junnar,做的是叢集轉租。本集算是進度更新:成交金額已達數億美元、平臺上架容量佔總容量的 5%,並向主權運算業者與 GPU 叢集持有者招手。讀者讀完應該能建立一套可用的模型:運算遠期市場如何定價、為什麼實物交割必須先於現金結算衍生品,以及套利空間在哪裡。

實物交割是先決條件,而既有業者結構上做不了

Conrad 的核心論點是:在實物交割市場出現之前就推出的現金結算運算衍生品,很容易被操縱,而且基差風險極大——你用來避險的價格,可能跟你實際買得到容量的價格毫無關係。他比喻成對一檔還不存在的股票賣衍生品。SF Compute 的賭注是:實物交割必須先到位,現金結算應該由它衍生出來。

至於為什麼沒有別人做,Conrad 的說法是獨立性。這種市場存在對輝達好處極大,但輝達自己不能來經營,因為它不夠中立,參與者不會在上面交易;沒人交易,就沒有足夠流動性讓放款機構拿遠期曲線去融資。他把同樣的邏輯套到超大規模雲端業者與新興雲端業者身上:

「這件事對整個產業都有利,因為它會壓低融資成本。但沒有人做得成,除非他放棄賺推論的大錢、放棄那些大型雲端合約。你得先殺掉自己的生意,才做得成這件事。」

因此 SF Compute 不持有硬體——自己持有硬體,業者就有能力操縱遠期市場。Conrad 說公司必須「當瑞士」。這個限制一路延伸到很不尋常的營運範圍:實地勘查資料中心、設計物料清單、經營與 OEM 的供應鏈關係、規劃叢集架構、監督機櫃上線,以及管理裸機節點周邊的背板(PDU、交換器、DPU、UFM、BMC)。有人曾形容這家公司是「運算界的 Palantir」,因為每一次部署都是一個新專案。

起源故事是個旅館比喻:SF Compute 一開始只是轉租一個叢集,接著客戶要儲存空間,然後要清潔間,再來要客房服務,然後要保全——最後公司等於在經營整間旅館,不得不自己變成雲端營運商。這花了好幾年。

委託單簿交易的是各種限制條件,不是單一可替換的單位

運算不是單一商品。Conrad 的委託單簿讓買方在一筆委託上附加多項屬性——時間區間、效能等級與其他限制——再由大型撮合引擎對帶有相同屬性的賣單進行撮合。取捨講得很明白:流動性較不集中、買賣價差較寬,換來的是在技術標準化之前就能產生流動性。對工作負載能吸收多種容量型態的買方來說,這個價差就是套利。

Conrad 認為真正影響定價的維度如下:

| 維度 | 為何定價不同 |
|---|---|
| 現貨與未來容量 | 賣出使用中的容量必須中斷正在跑的工作負載;一個月後才起算的容量可自由交易,流動性高得多 |
| 可中斷程度 | 批次推論可以接受一分鐘前通知;有客戶 SLA 的即時推論需要一到三個月前通知,價格自然不同 |
| 底層儲存 | 叢集跑的是 Weka 還是 Vast、容量多大,決定工作負載被搶佔後多快能恢復 |
| 地點與傳輸 | 叢集之間搬資料需要 WAN;許多新的 GPU 叢集蓋在電源旁邊而不是客戶旁邊,傳輸路徑很差 |
| 硬體批次 | 早期 H100 與 GB200 有瑕疵;懂門道的買方可能願意多付錢買某個日期之後部署的機器 |
| 晶片世代 | VRAM 與 NVLink 網域大小差異夠大,客戶會在意拿到哪一代 |

講到分批,Conrad 區分燒機測試(burn-in)——好的雲端業者會設法在 GPU 交到客戶手上之前把每一顆都操到壞,壞的就走 RMA——以及影響整批出貨的韌體層級問題,他舉例早期 H100 的 Supermicro 韌體 bug,以及 B200 上需要 DevCloud 才能修的 Cornelis 問題。

SKU 系統的設計是讓使用者自己定義:買方可以說「只要 Blackwell,每小時 6 美元以下我都收」,就會被撮合到 GB300 或 B300;要求極度精確規格的買方則得多付錢。Conrad 說公司已大幅降低維度,但無法完全消除:「連石油都不是鐵板一塊。」

遠期曲線中間隆起,現貨與期貨的價差極大

SF Compute 的委託單簿涵蓋從下一小時到三年後,整體叢集融資市場則看三到五年。Conrad 說他更在意長天期,因為目標是做出有流動性的遠期曲線。

被問到曲線是逆價差還是正價差,Conrad 說中間會隆起。近期未售出的容量必須降價才出得掉——他的比喻是快到期的牛奶——之後曲線回升到該有的水準,而更遠期的運算可能反而定價更低,因為買方願意為較短的等待時間付溢價。他稱這種形狀才健康。

真正讓他吃驚的是推論營收與容量成本之間的差距:

「現在你拿一顆 B300 去跑推論,大概每小時可以賣到 40 美元……而且這是 100% 使用率的情況,如果你只有五成左右的使用率,大概就是每小時 25 美元。另一邊,你買 B300 大概每小時 5 到 6 美元。」

「這兩個數字有一個得變,」swyx 說;Conrad 也同意這是嚴重超收。曲線的另一端同樣存在:預期價格會漲的買方,可能願意付高於自己估值的價格來鎖定未來容量。

流動性看的是客戶能回收多少,不是造市者數量

Conrad 很坦白,這個市場以絕對值來說還不成熟、不深、也不夠流動。SF Compute 總容量只有 5% 掛在委託單簿上,其餘持續陸續移入,新上線的容量則一開始就在簿上。成交量不大,但流動性集中。

公司追蹤的指標是:客戶花 100 美元買容量,平均能靠轉賣給別人回收 25 美元。Conrad 說這是在衡量流動性有沒有解決客戶的問題,而不是數造市者有幾個。

合約標準化——上次上節目時的主要話題——「還差得遠」。這幾年的教訓是:沒有營運整個堆疊,就沒辦法標準化,因為得先讓營運流程變得一致。他舉例說明差異有多大:同一個營運商可以提供兩種 VM 型態,其中一種的 GPU kernel 啟動延遲差了 40%,反映到下游就是 MFU 更差。

現金結算的運算指數有 LIBOR 式的操縱風險

Conrad 點名 Silicon Data 與 Compute Exchange 是走現金結算路線的先行者,說他們早期押這個方向「值得尊敬」,並預期 SF Compute 很可能與他們合作。他認為兩條路線是互補而非競爭。

他對現金結算的顧慮是指數操縱。被問到 LIBOR 的類比——由一個小組議定一個所有人據以交易的定盤價——Conrad 說 LIBOR 當年就被操縱過,這裡也一樣:許多運算指數建立在少量資料上,而這些資料與新簽約容量的實際價格關聯性很差。這個落差就是指數可被操縱的空間。

他也描繪了正在成形、用來解決運算財務瓶頸的周邊生態:SemiAnalysis 在做更好的標準,有公司在做殘值保險,也有公司在做存款放貸、替雲端業者承擔前端信用風險。swyx 提到信用違約交換以標的債券數倍的名目金額交易這個平行現象;Conrad 同意現金結算是個好的未來概念——只是應該由實物交割衍生出來,而不是跑在它前面。

目標客群是主權運算與叢集持有者,不是終端使用者

SF Compute 的提案有兩面。對持有已通電土地或資料中心的人,它提供「超級運算即服務」:SF Compute 把他們變成雲端、負責超級運算層、扛下 SLA,合作夥伴則繼續當資料中心。公司不自己施工,但內部保留資料中心專業來做專案管理。對主權運算業者,訴求是在自己國家架起一朵雲,由 SF Compute 帶來舊金山的承接需求與專業,讓專案變得可融資。

公司業務遍及全球,以美國為重。Conrad 不願具名合作物件,只說錄音後一兩週內應該就會公佈。

最近的產品里程碑是 fabric 虛擬化:客戶可以自行切分 InfiniBand fabric,不必聯絡 SF Compute;多數雲端則要開支援單才能重劃線路。Conrad 說更大的目標是把客戶自己持有硬體時能得到的東西全部虛擬化、變成可程式化——「上一次發生這種事,就是雲端。」

他的行動呼籲物件是資金,不是工程師:如果你想持有一座 GPU 叢集、賺它的殘值,SF Compute 會幫你蓋、負責超級運算那一段、扛下 SLA,而且——如果賭錯了——幫你把叢集賣給別人,不讓它卡在你的資產負債表上。

值得觀察的重點

尚未化解的張力在於時機。Conrad 說標準化還很遙遠,而現金結算產品已經在實物交割之前開始打造,這正是他警告的順序。Silicon Data 與 Compute Exchange 的指數究竟站得住腳還是可被操縱,是檢驗他論點的關鍵;而兩派若合作,只會讓界線更模糊,不會讓爭議有定論。兩個數字值得追蹤:隨著更多容量上簿,每 100 美元回收 25 美元的轉售水準是否維持;以及每小時 25 至 40 美元的推論營收與每小時 5 至 6 美元的 B300 成本之間的差距,是從營收端還是成本端收斂。錄音後一兩週內預期公佈的合作案,則會顯示主權運算的訴求能不能真的轉換成生意。

來源: Latent Space (youtube.com)
開啟原文