跳到正文
Hacker News (official RSS)(blog.kate.land)·· 11 天前精選品質評分88

研究者以電壓故障注入解鎖 NVIDIA CMP 170HX,啟用 GA100 更多功能

Using voltage glitching to unleash the A100 in my mining card

重點導讀

研究者在 GA100 上發現電壓故障注入漏洞,能改寫熔絲控制器設定,將 CMP 170HX 8GB 顯示卡解鎖為最多可使用 80 GB 記憶體的裝置,並啟用更多運算單元與 PCIe 功能。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章拆解 GA100 熔絲控制器與電壓故障注入流程,並以實測說明 CMP 170HX 解鎖後的記憶體、運算與 PCIe 變化。

正文 · 中文翻譯

摘要

我發現 GA100 晶粒存在電壓故障注入漏洞,讓操作人員能燒錄任意熔絲。利用這項漏洞,我把 CMP 170HX 8GB 顯示卡改造成實質上的 A100-80G!此外,解鎖後的顯示卡實際效能比零售版 A100 快約 1.2 倍,因為所有正常運作的 SM 都已啟用(約 120–126 個,視晶粒體質而定),而 NVIDIA 為了確保良率,在所有量產版 A100 上只啟用了 108 個 SM。最後,透過這種方法,也能解鎖 CMP 停用的 NVLink、PCIe Gen4、NVJPG、NVDEC、MIG 等功能,不過我尚未特別測試 NVJPG/NVDEC/MIG。

以下是我的「A100-80G」的外觀與運作方式。

GPU 清單與拓撲

GPU 081920 MiBNVIDIA Graphics Device00000000:81:00.00x20C210DE

GPU 181920 MiBNVIDIA Graphics Device00000000:C1:00.00x20C210DE

GPU 0NV12GPU 1CPU 親和性 0–127 · NUMA 0

Full nvidia-smi output
$ nvidia-smi --query-gpu=index,pci.bus_id,pci.device_id,name,memory.total; nvidia-smi topo -m
index, pci.bus_id, pci.device_id, name, memory.total [MiB]
0, 00000000:81:00.0, 0x20C210DE, NVIDIA Graphics Device, 81920 MiB
1, 00000000:C1:00.0, 0x20C210DE, NVIDIA Graphics Device, 81920 MiB
	GPU0	GPU1	CPU Affinity	NUMA Affinity	GPU NUMA ID
GPU0	 X 	NV12	0-127	0		N/A
GPU1	NV12	 X 	0-127	0		N/A

FP16 FMA 吞吐量TFLOP/s

零售版 A100

1.00×

硬體解鎖的 CMP 170HX

零售版 A100 的 1.18×

Retail A100 72.488 TFLOP/s; hardware-unlocked CMP 170HX 85.858 TFLOP/s from the raw OpenCL output below.Full OpenCL output
.-----------------------------------------------------------------------------.
|----------------.------------------------------------------------------------|
| Device ID    0 | NVIDIA Graphics Device                                     |
| Device ID    1 | NVIDIA Graphics Device                                     |
|----------------'------------------------------------------------------------|
|----------------.------------------------------------------------------------|
| Device ID      | 0                                                          |
| Device Name    | NVIDIA Graphics Device                                     |
| Device Vendor  | NVIDIA Corporation                                         |
| Device Driver  | 610.43.03 (Linux)                                          |
| OpenCL Version | OpenCL C 3.0                                               |
| Compute Units  | 124 at 1410 MHz (7936 cores, 22.380 TFLOPs/s)              |
| Memory, Cache  | 81338 MB VRAM, 3472 KB global / 48 KB local                |
| Buffer Limits  | 20334 MB global, 64 KB constant                            |
| Max Workgroup  | 1024 threads                                               |
|----------------'------------------------------------------------------------|
| Info: OpenCL C code successfully compiled.                                  |
| FP64   Compute   (double, fma  )                     11.287 TFLOPs/s (1/2 ) |
| FP32   Compute   (float , fma  )                     22.781 TFLOPs/s ( 1x ) |
| FP16   Compute   (half2 , fma  )                     85.858 TFLOPs/s ( 4x ) |
| INT64  Compute   (long  , a*b+c)                      2.759  TIOPs/s (1/8 ) |
| INT32  Compute   (int   , a*b+c)                     22.769  TIOPs/s ( 1x ) |
| INT16  Compute   (short2, a*b+c)                     20.273  TIOPs/s ( 1x ) |
| INT8   Compute   (char4 , dp4a )                     81.169  TIOPs/s ( 4x ) |
| Memory Bandwidth ( coalesced read      )                       1883.17 GB/s |
| Memory Bandwidth ( coalesced      write)                       2137.93 GB/s |
| Memory Bandwidth (misaligned read      )                       1460.81 GB/s |
| Memory Bandwidth (misaligned      write)                        250.13 GB/s |
| PCIe   Bandwidth (send                 )                         13.10 GB/s |
| PCIe   Bandwidth (   receive           )                         11.69 GB/s |
| PCIe   Bandwidth (        bidirectional)            (Gen3 x16)   11.58 GB/s |
|-----------------------------------------------------------------------------|
'-----------------------------------------------------------------------------'

NVIDIA 使用熔絲來區分產品、控制安全功能,以及執行其他有趣的存取控制功能。而關鍵在於,有幾項功能可透過燒錄 NVIDIA 晶粒上的熔絲來取得更多許可權,而不是更少。在安全性完善的設計中,燒斷熔絲應該只會讓狀態受到更多限制,因為在經濟上可行的情況下,無法復原已燒斷的熔絲。NVIDIA 的設計卻能透過燒錄更多熔絲來放寬限制!

本文將介紹 GA100 晶粒、其熔絲控制器、VFI 的運用方式,以及未來的研究方向。我決定在此處公開部分促成這項研究的成果。

致謝

我的研究以Jon Pry 等人的先前研究及許多其他研究者的成果為基礎,他們投入大量時間,更深入瞭解 GA100 晶粒。在另一位安全研究人員獨立發現相同漏洞後,我才公開自己的發現;我認為,公開這些資訊符合大眾的最大利益。本文發表前,已將這些發現通報 NVIDIA 的產品安全團隊。

GA100 版本

GA100 是 NVIDIA 的一款晶粒,已用於近 20 種 SKU,其中最知名的版本是 A100。我不會深入探討所有 SKU,但會介紹與我的研究相關的 GA100 版本,涵蓋 CMP 170HX 和 A100 的不同型號。

GA100 晶粒出廠時有 128 個 SM、12 個 FBP、5 個 NVDEC 單元,以及一個 PCIe Gen4 x16 控制器;依照影格緩衝容量,還會有 4–6 組與晶粒共同封裝的 HBM 堆疊。NVIDIA 使用 eFuse 控制良率並區隔產品:未區分的 GA100 會依據瑕疵測試結果與製造商需求,轉為限制較多的型號。

在產品區隔最極端的案例之一 CMP 170HX 中,這款標稱可供應用程式使用的影格緩衝容量為 8 或 10 GB 的以太坊挖礦卡,實際上分別搭載了約 80 和 40 GB 的 HBM!本研究主要探討如何完整解鎖並使用這些容量。先前的研究已透過軟體方法,大幅推進 GA100 的解鎖工作;VFI 則讓我們跨越最後一哩路。

SKU 開箱狀態 軟體(cmpunlocker) GA100VFI
CMP 170HX 8GB
影格緩衝 8 GB 64 GB 64-80 GB1
CMP 170HX 10GB
影格緩衝區 10 GB 40 GB2 40-48 GB
兩款 CMP
串流多處理器 70 70 120-128
PCIe 世代 1 2 4
NVLink 否 否 是3
錯誤更正碼(ECC) 否 否 是4
多執行個體 GPU 否 否 是4
NVDEC 0 0 54

硬體限制

那麼,NVIDIA 如何運用熔絲,從同一個晶粒製造出資料中心用 A100 和挖礦用 CMP 顯示卡?要了解這一點,我們需要仔細看看 GA100 上的熔絲控制器。

熔絲控制器是一個區塊,包含 16,384 個 eFuse(512 列,每列 32 個),以及圍繞這個原始熔絲巨集的一系列邏輯電路。它的工作是讀取和燒錄熔絲、保護底層熔絲,並向晶粒的其他部分提供可用的「選項字」。這些選項字接著會決定晶粒的運作方式,以及啟用哪些功能。

每個 eFuse 只有兩種狀態(已燒錄=1,未燒錄=0),512 列則分成 4 個區域:

  1. 一般熔絲(第 0-221 列)。這類熔絲的運作方式很直接;通常一個或一對熔絲會對應到一個選項字,例如 OPT_ENABLE_FUSE_PROGRAM(用來決定是否允許進一步燒錄熔絲的選項字)。一般熔絲內建備援機制:例如,OPT_ENABLE_FUSE_PROGRAM 由 PRI 和 RED(主要與備援)熔絲組成;在此例中,主要熔絲是第 0 列的熔絲 0,備援熔絲則是第 1 列的熔絲 0。有些選項字是純量,例如 OPT_X_COORDINATE,寬度為 9 位元,表面上用來儲存晶粒在製程晶圓上的 x 座標。重要的是,一般熔絲一旦燒錄,基本上就沒有辦法持續將它還原成未燒錄狀態(之後的 RIR 除外)。
  2. 無熔絲(Fuseless)熔絲(第 222-487 列)。這種熔絲很特別。NVIDIA 似乎厭倦了不小心燒錄一般熔絲、毀掉工程樣品,因此設計了一套類似 JTAG 鏈的格式,用來編碼有效的選項字(請參閱這項專利)。可以把 FF 想成一種指令碼,用來描述哪些選項字應該設定成哪些值。FF 熔絲(抱歉,請見諒這個縮寫)涵蓋了我們能透過 VFI 解鎖的大部分功能。這是因為只要寫入新的 FF 列,就能輕易清除 FF 選項字!稍後我們會更深入探討。現在,你只需要知道 NVIDIA 也很清楚這一點,因為在正常情況下,系統會嚴格禁止你燒錄任何 FF 熔絲。
  3. IFF 熔絲(第 487-512 列)。它們包含的指令格式與 FF 不同。這不在本文討論範圍內,主要用途是即時重新程式設計熔絲控制器的選項字。量產卡通常無法存取這些熔絲。
  4. RIR 熔絲(8 列,每列 32 個熔絲,技術上不屬於 512 列的一部分)。這些由熔絲巨集的設計者提供(TSMC 資料表請見此處),本質上是第一方設計者預期使用的「熔絲修復」機制。GA100 上的 RIR 區段可容納 16 條修復指令,每條指令都會覆寫主體 512 列中指定單一熔絲的值。對我們來說,不幸的是,尤其在 8 GB 170HX SKU 中,16 個 RIR 字中有 15 個全是 1,而第 16 個字編碼了一條無用的修復指令,只有在少數情況下才能用來解鎖什麼有趣的功能。10 GB SKU 的情況不同,但那是改天再談的事……

VFI 解鎖有兩組熔絲特別值得關注:

  1. 「控制熔絲」。這個詞來自 NVIDIA 的 Tegra 硬體標頭檔,專指第 0 列和第 1 列;這兩列指定了高度敏感的安全選項字值。
  2. 無熔絲熔絲(Fuseless fuses),其編碼了所有有趣的選項字,決定 GA100 出廠時是隻能用來挖礦的普通顯示卡,還是 AI 資料中心的運算主力。

在列出一些由 FF 編碼的選項字之前,我們得先更深入瞭解 FF 記錄格式,接著再談控管我們所關注功能的晶片區塊。

無熔絲熔絲

每列 FF 都是 32 位元記錄。第 0–4 位元選擇鏈,第 5 位元區分 FF 與 IFF(0 代表 FF),第 6–15 位元選擇 16 位元區塊,第 16–31 位元則提供該區塊的新值。專利中的 JTAG 鏈示意圖在此相當貼切:控制器透過將這些記錄重播至各鏈中,來建立選項資料。每條鏈中的固定位置都對應到個別選項字。

如果兩筆記錄指定相同的鏈與區塊,後一筆記錄會生效。例如,0x0fe805c1代表鏈 1、區塊 23、資料0x0fe8。附加這筆記錄就能清除先前 FF 記錄所設定的有效位元。沒有任何實體熔絲被熔斷;新的列會取代舊的 16 位元區塊。這適用於由 FF 支援的選項,不適用於第 0 列和第 1 列的常規控制熔絲。

既然我們已瞭解 FF 字的編碼方式,以下列出有趣的選項字及其位置。這些資訊由一位特別熱心的研究人員發現,他比對不同 GA100 SKU 的 FF 值與有效選項字,以差異分析 FF 鏈/區塊與選項字之間的對應關係,因為目前沒有已知的官方對應表。

具名選項 推定的 FF 位置 用途
NV_FUSE_OPT_FBIO_DISABLE 鏈 1 位元 83–106;區塊 5–6 記憶體 I/O 裁減
NV_FUSE_OPT_FBPA_DISABLE 鏈 1 位元 107–130;區塊 6–8 記憶體子分割槽裁減
NV_FUSE_OPT_GPC_DISABLE 鏈 1 位元 131–138;區塊 8 GPC 裁減
NV_FUSE_OPT_TPC_GPC0_DISABLE 至 NV_FUSE_OPT_TPC_GPC7_DISABLE 鏈 1 位元 187+8i 至 194+8i,對應 GPC i;區塊 11–15 八個 TPC 遮罩
NV_FUSE_OPT_PES_DISABLE 鏈 1 位元 251–274;區塊 15–17 PES 裁減
NV_FUSE_OPT_FBP_DISABLE 鏈 1 位元 307–318;區塊 19 影格緩衝區分割槽裁減
NV_FUSE_OPT_ROP_L2_DISABLE 鏈 1 位元 319–342;區塊 19–21 ROP/L2 裁減
NV_FUSE_OPT_NVLINK_DISABLE 鏈 1 位元 368–370;區塊 23 NVLink 停用遮罩
NV_FUSE_OPT_DISABLE_GEN3_SPEED 鏈 2 區塊 39;尚無法確定是位元 1 還是位元 9 PCIe Gen3 速度限制
NV_FUSE_OPT_PCIE_MAGIC_BITS_D[25] 鏈 2 區塊 47 位元 3 Gen4 速度停用旗標
NV_FUSE_OPT_PCIE_BOOT_GEN23_DISABLE 鏈 2 區塊 49 位元 6 PCIe 開機政策
NV_FUSE_OPT_PCIE_BOOT_GEN3_DISABLE 鏈 2 區塊 49 位元 7 PCIe 開機政策
NV_FUSE_OPT_PCIE_DEVIDA 鏈 2 位元 593–608;區塊 37–38 裝置識別
NV_FUSE_OPT_PCIE_DEVIDB 鏈 2 位元 609–624;區塊 38–39 裝置識別
NV_FUSE_OPT_SYS_PIPE_DISABLE 鏈 1 位元 372–379;區塊 23 多重執行個體 GPU 啟用管線

FBIO/FBPA/FBP/TPC/GPC/PES/ROP 這些縮寫都指微架構元件。請參閱 GA100 白皮書中的這張圖,進一步瞭解它們之間的關係:

GA100 die block diagram from the GA100 whitepaper

FBP 是 NVIDIA 對「影格緩衝區分割區」(framebuffer partition)的內部稱呼,一個 HBM 堆疊對應 2 個 FBP。FBPA 是子分割區,一個 FBP 對應 2 個 FBPA。PES/ROP 是區塊(看起來與圖形處理有關),SM 必須具備這些區塊才能運作。

掌握這些資訊後,如果我們能寫入新的 FF 列,讓 _DISABLE 字詞全為零,或至少在考量晶粒瑕疵的情況下盡可能放寬限制,會怎麼樣?如果觀察 _DISABLE 選項如何與其他元件搭配使用,很快就會發現,這些 _DISABLE 字詞是我們防止晶粒部分割槽塊遭到「階層式停用」(floorswept)的主要手段。說明這個「假設」之後,我會談談「方法」:電壓故障注入的具體應用,以及我們能透過 VFI 破解的熔絲控制器防護機制。

階層式停用

NVIDIA 讓這些選項負責設定階層式停用訊號,使晶粒上的元件無法存取(而且很可能會斷電)。根據實驗,我認為階層式停用線路是在 RTL 中指定,從熔絲控制器引出,連線到個別功能區塊,並控制區塊內某個主電源/時脈網域開關。我觀察到,階層式停用行為幾乎會立即反映各功能區塊熔絲控制器有效狀態字詞的值。

以 FBP 階層式停用為例。我其中一張 8 GB 顯示卡的 OPT_FBP_DISABLE 是 0x852:FBP 1、4、6 和 11 都遭到遮罩。另一個獨立的 OPT_FBP_DEFECTIVE 遮罩是 0x840,涵蓋 6 和 11。使用替換的 FF 列,將 FF 衍生的停用遮罩降至 0x840 後,FBP 1 和 4 上的額外遮罩消失了,但有瑕疵的 6 和 11 仍維持停用。這使晶粒的 12 個 FBP 中有 10 個位於有效遮罩內。功能方面,當 OPT_FBP_DISABLE 為 0x852 時,FBP 1 和 4 無法讀寫暫存器;寫入這組熔絲後,它們便能正常回應。

雖然可以透過 FF 寫入解除功能區塊的「階層式停用」,但這還不足以讓終端應用程式完整使用該區塊。例如,預設的影格緩衝區幾何配置只會使用每個可用 HBM 堆疊的一部分容量。

若要繞過這個限制,我們可以採用 cmpunlocker 方法的一個小幅修改。將 8 GB 解鎖至 64 GB 的常見驅動程式修補方式,會寫入一組特定的功能組態字詞(FBPA_CFG、SM_SPEED_SELECT 等)。這些字詞的預設值,是為常見的 170HX 變體所選定;該變體的 _DISABLE FF 衍生選項字詞會阻止使用某些功能區塊(任何使用這些區塊的嘗試都會回傳階層式停用錯誤)。完成解鎖所需的 FF 燒錄後,我們就能將限制更寬鬆的字詞寫入組態暫存器,從功能上得到一張 A100-80G。

完成 FF 燒錄

根據現有資訊,只要能任意燒錄 FF 熔絲,任何 GA100 看來都能完整解鎖至其最高規格,實際上限則取決於晶粒良率和已安裝的記憶體堆疊。不過,要如何燒錄 FF 熔絲?讓我們看看熔絲控制器的熔絲程式設計功能,進一步瞭解。

若要觸發熔絲燒錄,必須寫入屬於熔絲控制器的 FUSEADDR、FUSEWDATA 和 FUSECTRL 暫存器。雖然主機或非特權請求者通常無法存取這些暫存器,但透過 Canary in the Crypto Mine ROP,開啟相關的特權層遮罩輕而易舉。因此,許多研究人員都試圖誘使熔絲控制器燒錄 FF 區域中的熔絲。以下是我們分享的一些觀察結果:

  1. 熔絲控制器內部有一個 FSM,並透過 FUSECTRL_STATE 位元指出目前狀態。
  2. 每當所請求的 FUSEWDATA 值中有一個「熱」位元,熔絲控制器就會進入一次 WRITE_PROGRAM 狀態。這與預期的熔絲燒錄行為相符。
  3. 然而,除非清除特定選項字,否則對 FPF 範圍(第 96 至 221 列)以外熔絲位址的寫入實際上不會生效。此區域的熔絲(據信是「現場可程式化熔絲」,用來標示曾執行過哪些 ucode 版本的浮水印,以及其他與現場相關的資訊)確實會生效,而且熔絲控制器的狀態機在 FPF 與非 FPF 區域中的行為完全相同。

我所指的特定選項字是 OPT_SECURED_BURN_FEATURE_ENABLE(「SBFE」),所有量產卡都將它設為 1。清除此選項字後,即可在任何位址燒錄熔絲;若將它設為 1,則只能燒錄 FPF 熔絲。迄今沒有人找到在 SBFE=1 時燒錄 FF 熔絲的方法,即使是在 HS 環境中操作熔絲控制器也一樣。我不清楚「安全燒錄」真正的意思。我推測即使 SBFE=1,也必定有僅透過軟體就能進行非 FPF 燒錄的方法,只是我們還不知道這裡「安全」一詞的確切含義。

注意 PLM、HS、ucode 等等;隨著解說深入,本節會用到許多 NVIDIA 專用術語。若想深入瞭解這些術語的意思,請參考其他資料,例如 Je Ne Sais Quoi - Falcons over the Horizon。

重要的是,正如大家在限制較少的卡上所發現的,SBFE=0 時可以進行 FF 燒錄!而事實證明,達到這個狀態就是我們解鎖 GA100 的方法。經過多次反覆嘗試後,我改以電壓故障注入誘發這個狀態,並成功達成。接下來談談電壓毛刺。

電壓故障注入

關於 VFI 已有許多討論,深入說明就留給其他資料。簡單來說,短暫施加低電源電壓脈衝,往往會使積體電路產生非預期行為。我請 GPT-6 Astra 設計了一塊以 STM32G4 為基礎的電路板,用來擷取 CMP PCB 上的 PWMVID 訊號。PWMVID 是 NVIDIA 為電壓調節器制定的標準;我的毛刺產生器會攔截 GA100 晶粒發出的 PWM 訊號,並以自行產生的波形取代,再將波形送入 MP2888B VRM 驅動 IC。透過這套裝置,我可以讓顯示卡本身的 VRM 按照預定時序產生電壓毛刺;這比以 MOSFET 為基礎的裝置更簡單,也比嘗試直接驅動 PMBus 更快。

glitcher 需要連線 PCB 的兩個位置,最好使用磁性漆包線。其中一條線接到 NVVDD 來感測電壓,另一條線接到 PWMVID 訊號。要讓 glitcher 運作,唯一還需要做的是移除一顆 0402 0ohm 電阻,以斷開 GA100 輸出 PWM 腳位與 VRM IC 之間的連線。只要追查 MP2888B 的腳位配置,就能輕易找到接線位置,特別是它的 PWMVID 和 VOSEN 腳位(MP2888B 與其同系列的公開晶片 MP2888A 共用相同封裝)。MP2888B 旁邊的測試點,讓 PWMVID 接線的安裝相對容易。

接好這條線後,單次 glitch 嘗試包含以下步驟:

  1. 移除顯示卡電源
  2. 供應顯示卡電源
  3. NVVDD 超過閾值時,立即啟動計時器(「glitch 計時器」)
  4. 傳送 PWMVID 訊號,依照 glitch 計時器的時間點執行預定的電壓波形
  5. 觀察顯示卡狀態,視需要從步驟 1 重複操作

我的設定透過簡單的 ACPI S0 -> S3 -> S0 轉換完成步驟 1/2,在現代桌上型平臺上只需幾秒鐘。更深入的改裝或昂貴的裝置,可能可以提高實驗頻率;不過依我的經驗,使用後文所述的方法,這套設定足以在 1 小時到 48 小時的 glitch 操作時間內解鎖顯示卡。

關於 NVVDD 閾值,Astra 編寫的韌體使用 STM32 比較器偵測 NVVDD 是否超過 225mV,之後便以緊密的 DMA 迴圈在 PWMVID 腳位輸出所需的佔空比。回到 S0 後,主機會檢查顯示卡狀態並決定下一步;如果要再次進行 glitch,主機會透過 USB 將 glitch 模式命令傳送給 glitcher 電路板。接著,主機透過 RTC 計時器進入 S3,並在約 3s 後喚醒(這個時間是依經驗得出的,穩定性不錯)。

有時主機無法返回 S0。我透過將記錄管理與 glitch 測試準備工作交由 SBC(Radxa Cubie A5E)處理來解決;如果目標主機沒有回應,SBC 也能透過 GPIO 控制主機板的電源/重設按鈕腳位。

如果你有興趣,GA100VFI 儲存庫中有更多細節。目前我們來看看透過 VFI 可以觸發的幾種有趣狀態,以及燒錄 FF 列所需的特定 glitch 狀態。為了說明各種 glitch 狀態的差異,我根據實測建立了保險絲控制器在加上電壓時的啟動模型。請注意,由於沒有實作保險絲控制器的 RTL,我們只能推測。以下是推測的啟動階段:

  1. 依照保險絲巨集的要求,感測 RIR
  2. 感測控制列(從保險絲巨集讀入讀出暫存器)
  3. 將控制列鎖存至衍生自控制列的選項字
  4. 感測其餘列
  5. 將一般保險絲值鎖存至其選項字
  6. 解析 FF 鏈
  7. 將 FF 鏈值鎖存至其選項字

這些假設階段是根據我實際能從晶粒上讀取的資訊推導而來:控制器狀態、CMD_READ 可運作時的原始列、已發布的選項字,以及 PRI 環是否仍能連線到 GPU 其餘部分。透過檢視幾個關鍵值,我們可以區分不同的 glitch 結果。值得注意的是,glitch 模式和結果都非常仰賴晶粒本身,因此請將以下範例波形和回應視為範例。接著來看看 3 種有趣的 glitch 狀態。

1. 所有保險絲都被感測為零

命令指定的 PWMVID 佔空比 · 59.58% / 0.8333%預期 NVVDD · 模擬值

t=0 後的毫秒數;左側間隔未顯示 0–200 ms

有些故障會讓幾乎所有已發布的選項字讀取結果都變成零。在其中一個擷取到的狀態中,672 個具名選項讀取值有 669 個為零,其餘 3 個則是錯誤回應。控制器的 CRC 狀態為 0x00(尚未解析),PCIe ID 讀取結果為 2080(GA100 的基本 PCIe 產品 ID,並不對應任何實際零售產品),而 GPU 的 PRI 環狀佇列則保持在重設狀態。

這種狀態符合保險絲控制器發生災難性故障的情況。由於幾乎所有開機功能都受到全零狀態影響,這張卡基本上無法使用。不過有趣的是,這張卡原生支援 PCIe Gen4 連線訓練!某些稍有差異的變體可能會顯示部分保險絲已成功鎖存,或出現亂碼值而非全零。我無法讓這些狀態中的任何一種進一步觸發 FF 燒錄;幾乎所有情況下,保險絲控制器都無法連線或運作異常。

2. RIR 讀取受幹擾

命令設定的 PWMVID 佔空比 · 59.58% / 0.8333%預期 NVVDD · 模擬值

t=0 後的毫秒數;左側間隔未顯示 0–977 ms

讀取 CMP 170HX 8GB 上的 RIR 資料,可看出它的確切作用:有 15 條無操作修復指令,以及一筆寫入,會改變第 18 列中一個保險絲的值;我們可以監測其選項字。此外,由於 RIR 感測結果會由保險絲巨集內部使用,而非直接交給保險絲控制器,因此我們可以嘗試讀取原始列,觀察 RIR 鎖存受幹擾的情況:觀察到的位元翻轉,在翻轉後的選項字和原始保險絲列中都一致。這為研究晶粒開機流程提供了一個有趣的時間順序檢查點(RIR 感測必須先於其他保險絲感測),但這種故障本身並沒有實際用途。

3. Goldilock 的故障注入

命令設定的 PWMVID 佔空比 · 59.58% / 0.8333%預期 NVVDD · 模擬值

t=0 後的毫秒數;左側間隔未顯示 0–978 ms

我第一張卡上成功觸發的三脈衝狀態,似乎恰好乾擾了以 row0/1 為基礎的選項字,同時讓其他保險絲和選項字保持完整。在此狀態下,所有源自 row0/1 的選項字都為零。初始讀取結果如下:

訊號 初始讀取結果
PCI ID 與存取狀態 20c2;BAR0 和 PRI 環狀佇列均有回應
FUSECTRL 0xe0040000 (IDLE)
CRC_STATUS 0x55(兩個半部解析時都沒有錯誤)
DISABLE_SW_OVERRIDE 0
OPT_SECURED_BURN_FEATURE_ENABLE 0
ENABLE_FUSE_PROGRAM 0
FUSECTRL/FUSEOPT 許可權遮罩 兩者皆為 0xffffffff
原始列 0 和 1 兩者仍為 0x53557c3d,與故障注入前相同

在這個階段,我們仍無法下達 FF 寫入,因為 ENABLE_FUSE_PROGRAM=0。老實說,我不太確定 ENABLE_FUSE_PROGRAM 為什麼會是 0,畢竟零售版電路板上它的值是 1;因此在我看來,這幾乎像是用來實作故障注入偵測用的金絲雀機制(至少這樣設計會很巧妙)。

保險絲感測一次處理一列,並透過一條線為該列的全部 32 個保險絲供電進行感測,因此攻擊者要讓單一保險絲看起來像是已清除或已設定,難度高得多。因此,加入一個「金絲雀」保險絲,在它被清除時停用安全性關鍵功能(例如保險絲燒錄),是合理的做法,因為攻擊者通常最多隻能以列為單位操控保險絲感測。因此,當 row0/1 選項字讀取結果全都顯示為已清除時,ENABLE_FUSE_PROGRAM=0 會阻止我們燒錄任何保險絲。

不過,看看我們目前的狀態:DISABLE_SW_OVERRIDE=0。這個欄位通常為 1,會阻止我們將 EN_SW_OVERRIDE 暫存器設為 1;而設為 1 後,就能「遮蔽」熔絲控制器公開的大多數選項字。做法是寫入對應選項字 OPT_* 的暫存器 CTRL_OPT_*,進而決定有效值 STATUS_OPT_*。這就是我們能將 SBFE 遮蔽為 0 的方法。不過,即使 DSOV=0,ENABLE_FUSE_PROGRAM 仍是無法遮蔽的選項字之一。所以看來我們陷入僵局了。

至少我當時是這麼想的,並且在這個狀態下苦思了好一陣子。接著我注意到,還有一個熔絲控制器命令我尚未嘗試下達:SENSE_CTRL。我之前一直沒下達這個命令,因為乍看之下,它似乎會讓所有源自 row0/1(控制熔絲)的選項字都符合熔絲值,這會重設 SBFE、關閉軟體選項字遮蔽功能,讓我們無法燒錄熔絲。令我驚訝的是,下達這個命令後,所有源自控制熔絲的選項都變成了熔絲值,唯獨 DISABLE_SW_OVERRIDE 仍維持 0!

DSOV=0 時,我們可以輕易將 SBFE 設為 0;ENABLE_FUSE_PROGRAM 為 1,因為它符合熔絲值,於是就能開始動手了!還有一個小問題:FUSEWDATA 的 PLM 可能已鎖定,但 DSOV=0 時,只要將 OPT_SECURE_FUSE_WDATA_WR_SECURE 寫入 0,就能把 PLM 設為全 1,開放主機進行熔絲燒錄。

接下來只要計算出與我們關注功能的 _DEFECTIVE 值相符的 _DISABLE 字,然後下達 FF 燒錄命令即可。請注意,每顆晶片的 FF 佔用空間與缺陷位元都不同,因此燒錄內容必須依晶片量身調整。

最終結果

解鎖影格緩衝區

在 8 GB 顯示卡中,若 80 GB 均完好(以我有限的樣本數來看,約有 90% 的 8 GB 顯示卡符合此情況),解鎖後即可將完整的 80 GB 用作影格緩衝區。多項合成測試(在整個影格緩衝區寫入偽隨機字,並在 L2 快取失效後讀回),以及實際工作負載(例如 vLLM 和 SGLand)都能正常運作。 如前所述,我有一張顯示卡只有 64 GB 完好。在這種情況下,硬體解鎖不會增加影格緩衝區容量。

解鎖運算能力

170HX 出廠時僅啟用 70 個 SM。實際上,晶片上幾乎總有超過 120 個 SM 沒有缺陷,而解鎖後便能全部使用。這帶來顯著的效能提升:相較於僅透過軟體解鎖的 170HX,效能約提升至 1.7 倍;甚至比市售 A100 高出約 1.2 倍!

FP16 FMA 吞吐量 TFLOP/s

透過軟體解鎖的 CMP 170HX

市售 A100 的 0.69 倍

市售 A100

1.00 倍

透過硬體解鎖的 CMP 170HX

市售 A100 的 1.18 倍

ProjectPhysX OpenCL-Benchmark FP16 half2 FMA: software-unlocked CMP 170HX, 50.129 TFLOP/s; retail A100, 72.488 TFLOP/s; hardware-unlocked CMP 170HX, 85.861 TFLOP/s. Retail A100 is the 1.00 times reference.

PCIe 世代

阻止 cmpunlocker 從 PCIe Gen2 升級的唯一因素,是 FF 選項字。清除相關位元後,Gen3/4 可完成連線訓練,並確認能正常運作。搭配 PCIe 隔離電容改裝後,最高可達 PCIe Gen4 x16,與市售 A100 PCIe 版本相同。

NVLink

將 OPT_NVLINK_DISABLE 字詞歸零,只是讓 NVLink 實際運作所需修改之一。CMP 170HX PCB 缺少 U11 IC(它會將 PCIe 3.3v 連線到 NVLink bridge 的一個接腳),因此原廠電路板無法啟動連線的 NVLink bridge 上的參考時脈產生器。只要在 U11 的焊盤上橋接兩個接腳,就能解決這個問題,但也會移除 U11 原本提供的任何穩壓或保護功能。如果要橋接由不同電源供應器供電的 GPU,請務必小心,因為這會將 +3.3V 電源軌連在一起,除非你讓部分 GPU 不安裝 U11!只要在一張板子上替 U11 加上跳線,這對 NVLink bridge 就能正常運作。

在 NVLink 啟用的韌體部分,還有一項 ROM 檢查需要透過額外的主機端命令繞過。我相信你的 clanker 能搞定 ;)

調查 NVLink 解鎖時,我也發現 NVIDIA 在 GA100 上的 NVLink 實作有幾個有趣的特性。我會再發布一篇相關部落格文章,敬請期待!

未來方向

透過任意燒錄熔絲,我們主要能解鎖功能。某些與安全性相關的選項出廠時預設未燒錄,燒錄後或許能創造有趣的切入點。不過我更感興趣的是更深層的故障狀態:許多預設已燒錄、與安全性相關的熔絲會被感測為未燒錄,進而啟用如 debug HS 執行等途徑,讓人以前所未有的方式存取晶片裸晶內部。

參考資料


註腳

  1. 根據非正式觀察,我檢查過的 10 張 CMP 170HX 8 GB 樣品中,只有一張出廠時可用容量僅有 64 GB,其餘的影格緩衝區容量都正常達到 80 GB。↩

  2. 雖然 Canary in the Crypto Mine 論文聲稱 10 GB SKU 能穩定達到 80 GB,但市面上能做到這點的卡片寥寥無幾,甚至可能完全沒有,而且可靠證據也很少。不過,仍有可能部分 10 GB SKU 出廠時實際搭載 80 GB 記憶體;然而根據社群資訊,這種情況的比例似乎非常低。多數「不穩定」的 80 GB 解鎖結果,都可用 L2 快取與記憶體別名搭配真正的 40 GB 影格緩衝區來解釋。↩

  3. 啟用 NVLink 還需要進行一項非常小的硬體修改,因為 170HX PCB 缺少一個元件;稍後我會再詳細說明。↩

  4. 未經測試。↩ ↩2 ↩3

來源: Hacker News (official RSS) (blog.kate.land)
開啟原文

讀者討論

理性交流 · 即時討論