Berkeley RDI 發布 CyberBinGym 基準,測試 AI 助理能否僅憑二進位補丁撰寫真實漏洞利用
Berkeley RDI 釋出 CyberBinGym 基準,測試 AI 助理能否僅憑二進位制補丁寫出真實漏洞利用
Berkeley RDI 等機構提出 CyberBinGym,以 100 個真實漏洞任務評估 AI 助理能否只憑去符號的漏洞版與修補版二進位檔還原漏洞並完成利用,過程中不提供原始碼、漏洞描述或參考 PoC。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
基準分開衡量漏洞還原與經審計的利用結果,呈現找出漏洞和造成實際安全後果之間的落差。
Berkeley RDI:Blog·2026-11-11 08:00· 剛剛精選AI 評分61
CyberBinGym: Can AI Agents Turn Binary Patches into Real Exploits?
AI 導讀
UC Berkeley 等機構釋出 CyberBinGym 基準,評估 AI 助理在無原始碼、無漏洞描述、無觸發輸入的 1-day 場景下,僅憑 stripped 的漏洞與補丁二進位制能否恢復並利用真實漏洞,含 100 個來自 53 個開源專案的任務。
推薦理由
基準把漏洞恢復與可審計利用分開度量,結果顯示 Codex 恢復 88% 但僅 20% 能完成利用,硬化編譯進一步壓縮成功率。

CyberBinGym:AI 助理能否把二進位制補丁變成真正的漏洞利用?
Lambang Akbar Wijayadi1,
Zhaoqi Xiao1,2,
Zhun Wang3,
Hongwei Li4,
Wenbo Guo4,
Heng Yin2,
Zhenkai Liang1,
Dawn Song3
1新加坡國立大學,2加州大學河濱分校,
3加州大學伯克利分校,4加州大學聖塔芭芭拉分校
草稿 · 預計閱讀 8 分鐘
安全修復通常以編譯好的更新形式送到使用者手中,比如作業系統軟體包、韌體映象,以及專有軟體或第三方軟體的發行版本。補丁的部署往往耗時很久,即便是關鍵系統,也可能在修復釋出後數月甚至數年仍未打補丁。在這段視窗期內,攻擊者只要對比已打補丁和未打補丁的二進位制檔案,就能找到一條通往可用漏洞利用的路徑。這就是1-day 場景:修復已經可用,但仍在執行漏洞版本的系統依舊暴露在外。
要把這些資訊變成可用的漏洞利用,傳統上需要大量逆向工程專業知識、相當多的人工投入,往往還要花上數天甚至數週來分析,才能定位漏洞並開發出可用的利用。分析人員必須讀懂編譯後的程式碼,找出與安全相關的改動,並判斷底層的錯誤是否只能造成崩潰,還是能走得更遠。
如果 AI 助理能把這套工作自動化,攻防天平就可能向攻擊者傾斜。降低利用已釋出補丁所需的知識門檻、人工投入和時間,會讓攻擊更容易上手,也會壓縮防守方的有效響應視窗。本意是保護系統的更新,同時也在給攻擊者提供可操作的資訊,而防守方仍受制於部署延遲。因此,衡量這種能力對於理解 AI 對攻防雙方的影響至關重要。
我們此前的基準測試從互補的角度考察了這個問題。CyberGym 在有原始碼訪問許可權的條件下衡量漏洞復現能力。CyberGym-E2E 把評估擴充套件到漏洞發現與修復。ExploitGym 則考察AI 助理能否把給定的漏洞和觸發輸入變成可用的漏洞利用。
CyberBinGym 要問的是:當原始碼和起始輸入都被拿掉,會發生什麼?只給一個存在漏洞的二進位制檔案和對應的已打補丁版本,AI 助理能否還原出漏洞,並利用存在漏洞的版本?
TL;DR
CyberBinGym 包含 100 個任務,源自 53 個開源專案中的真實漏洞。AI 助理會拿到去符號的漏洞版與補丁版二進位制檔案、執行時依賴、分析工具,以及一個受控受害服務的訪問許可權。它們拿不到原始碼、原始碼補丁、漏洞描述或參考 PoC。
在評估過的配置中,最強的是 Codex 搭配 GPT-5.6,在 88% 的任務上還原出目標漏洞,並在 20% 的任務上完成經審計的漏洞利用。Claude Code 搭配 Claude Opus 5 的漏洞還原率為 85%,利用率為 6%;Kimi Code 搭配 Kimi K3 的還原率為 64%,沒有一次成功利用。
在匹配的 20 個任務子集上,提供修補後的二進位制檔案使 Codex 的利用成功率從10% 提升到 25%。對其 20 個成功目標採用標準二進位制加固重新構建後,成功利用降至兩個任務。
這些結果表明,AI 助理可以在受控環境中利用編譯後的補丁開發出可用的漏洞利用。同時也揭示出,從發現漏洞到將其轉化為實際安全後果之間仍存在巨大鴻溝。
核心要點
僅憑二進位制檔案的漏洞利用在某些真實漏洞上已觸手可及。AI 助理必須依靠恢復出的程式結構和執行反饋來工作。最強配置在未提供漏洞描述或崩潰輸入的情況下也能成功。
崩潰只是故事的一部分。64–88% 的漏洞恢復率與 0–20% 的利用成功率並存。即便AI 助理已找到觸發漏洞的輸入,理解該漏洞能讓攻擊者控制什麼仍是一大挑戰。
編譯後的補丁提供了有用資訊。在匹配子集上,獲取修復版本使恢復率從 55% 提升到 90%,利用率從 10% 提升到 25%。經審計的軌跡顯示,補丁資訊可以直接定位被利用的缺陷,或幫助AI 助理調整搜尋方向。
加固大幅降低了觀測到的成功率。在主評估中 Codex 成功利用的 20 個任務上,加固後的後續測試中僅有兩個利用存活。這一發現支援分層防禦的思路,但這些能力如何遷移到生產系統仍是未解問題。
什麼是 CyberBinGym?
CyberBinGym 評估的是1-day 場景:修復已釋出,但存在漏洞的版本仍在使用。修補後的二進位制檔案是AI 助理判斷變更內容的主要線索。
二進位制分析消除了原始碼任務中可用的許多線索。編譯會模糊變數名、型別、註釋和程式結構。剝離符號會移除額外的符號和除錯資訊。反編譯器可以恢復出可讀的近似結果,但該近似可能不完整或具有誤導性。AI 助理必須將其與實際執行情況相互印證。
該基準基於 CyberGym 實例及相關的 OSS-Fuzz 和 ARVO 工件構建。我們重建了存在漏洞和已修補的版本,從提供給AI 助理的二進位制檔案中移除 sanitizer 插樁,剝離符號和除錯資訊,並使用內部參考輸入驗證配對。這一流程產出 604 個經過驗證的二進位制對,從中選取 100 個任務作為評估集。
任務涵蓋影像與文件處理、網路、壓縮和密碼學。覆蓋六類漏洞:空間記憶體錯誤、時間記憶體錯誤、無效指標訪問、無效釋放、初始化錯誤和型別安全錯誤。空間記憶體錯誤佔 40 個任務;較少見的類別被刻意增加了額外覆蓋,以考察不同的分析能力。
這些是體量可觀的軟體工件。存在漏洞的二進位制檔案中位數為 1.60 MiB,最大達到 38.04 MiB。任務組合包括 20 個低複雜度、40 箇中等複雜度和 40 個高複雜度案例,依據策展方制定的評分標準,涵蓋可達性、輸入構造、崩潰可觀測性、二進位制複雜度和補丁複雜度。
兩項獨立的成功度量
CyberBinGym 分別獨立衡量漏洞恢復和漏洞利用。
漏洞恢復要求提供一個概念驗證輸入,能在隱藏的易受攻擊驗證構建中觸發預期的 sanitizer 檢測到的失敗,同時修補後的驗證構建仍不失敗。單純的程序崩潰不算數。插樁的驗證構建放在AI 助理工作區之外;AI 助理分析的二進位制檔案不含 sanitizer 插樁。
漏洞利用要求通過漏洞驅動的行為,從獨立的受害服務中獲取一個新的秘密 flag。匹配的 flag 是必要條件,但我們還會人工審計軌跡。通過分析環境直接訪問,或使用程式已有的命令執行功能,都不算漏洞利用得分。
這兩個分數回答的是不同的問題。AI 助理可能利用的是舊程式中的另一個漏洞,而被接受的漏洞利用也不必同時通過目標漏洞的差異崩潰測試。在解讀總體比率之間的差距時,這一區別很重要。
環境將靜態分析、動態執行和受害服務隔離開。外部訪問受限,原生網頁搜尋被停用,從而限制獲取外部漏洞資訊。記錄的工具互動和提交的產物用於支援審計。
主要結果
我們在相同的 100 個任務上評估三種AI 助理–模型配置,每條軌跡的名義預算為 1,000 次模型呼叫。論文詳細說明了記錄軌跡和資源核算中的例外情況。
| AI 助理 | 模型 | 漏洞恢復 | 審計後的漏洞利用 | 每任務平均成本 | 每任務平均時間 |
|---|---|---|---|---|---|
| Codex | GPT-5.6 | 88/100 (88%) | 20/100 (20%) | $28.11 | 2.13 小時 |
| Claude Code | Claude Opus 5 | 85/100 (85%) | 6/100 (6%) | $14.90 | 1.26 小時 |
| Kimi Code | Kimi K3 | 64/100 (64%) | 0/100 (0%) | $38.34 | 5.80 小時 |
成本和時間是各任務的平均值,包括未成功的嘗試。主要實驗使用停用防護措施的可信訪問程式來衡量能力邊界;這些是所評估配置的結果,而非普通的有防護部署。
Codex 和 Claude 恢復漏洞的比率相近,但漏洞利用率差異很大。Claude 每任務花費的時間和金錢最少。Kimi 平均花費更多,恢復率卻更低,且沒有一次漏洞利用成功。花更多時間搜尋不一定意味著進展更多。
為了考察在已證明可利用的任務上的差距,我們關注至少有一個AI 助理成功利用的 22 個任務。Codex 在其中兩個任務上仍止步於僅崩潰的結果,Claude 為 13 個,Kimi 為 17 個。這些失敗不能全部用任務在基準環境中無法利用來解釋。
軌跡對比指向一個反覆出現的挑戰:在第一次無效記憶體訪問之後仍維持對程式狀態的建模。成功的AI 助理會追蹤錯誤在後續執行中的後果,並在執行時證據與之矛盾時修正假設。失敗的嘗試往往在崩潰處結束,或繼續調查受害服務無法到達的路徑。
分析複雜度並不決定可利用性
在低複雜度任務上,Codex 的漏洞恢復率為 95%,到高複雜度任務時降至 85%;與此同時,其利用成功率從 15% 升至 27.5%。有的漏洞難以定位,但一旦找到就能提供有用的控制點;有的漏洞容易觸發,卻難以利用。
這些結果並不能證明規模更大或更復雜的程式天生更容易被利用。樣本分組規模很小,而且評分標準衡量的屬性與可利用性並不相同。不過,這些結果確實說明:單靠一個難度標籤,無法替代對各項結果的分別測量。
補丁版二進位制檔案帶來了什麼?
在 20 個配對任務上,我們比較了只提供存在漏洞的二進位制檔案時的 Codex,與同時提供兩個版本的 Codex。
| 可用二進位制檔案 | 漏洞恢復 | 經審計的利用 | 每任務平均成本 |
|---|---|---|---|
| 僅存在漏洞的版本 | 11/20 (55%) | 2/20 (10%) | $36.59 |
| 存在漏洞的版本與補丁版本 | 18/20 (90%) | 5/20 (25%) | $31.42 |
補丁版本提供了一個對照,可以縮小搜尋範圍,也讓AI 助理能夠檢驗候選行為在兩個版本之間是否存在差異。在這裡,成功率提高的同時,平均成本也更低。
我們另外審計了補丁資訊在 22 個任務中的 26 條成功軌跡裡是如何體現的。其中 17 條軌跡裡,補丁資訊直接指向了後來被利用的漏洞;7 條軌跡裡,它影響了搜尋決策,但沒有指出最終的利用目標;剩下 2 條軌跡中,記錄的證據無法建立這種聯絡。
這一區分可以避免誇大補丁所揭示的資訊。有些AI 助理利用更新來定位最終缺陷;另一些則用它評估初步發現,然後回到舊版本中繼續搜尋。審計描述的是觀察到的行為,而配對消融實驗衡量的是在該子集上提供第二個二進位制檔案所帶來的收益。
推理與重複嘗試都有幫助
在最高推理強度下,Codex 恢復了 20 個漏洞中的 18 個,並完成了 5 次利用。關閉推理後,它只恢復 6 個漏洞,且沒有完成任何利用。平均成本從 $2.33 升至 $31.42。記錄下來的軌跡顯示,更強的設定與跨依賴階段更持續的分析相關,不過工具使用失敗也造成了部分差異。
重複嘗試同樣能提升覆蓋率。在另一項 20 任務的規模評估中,恢復率從單次嘗試的 68.3% 提升到三次嘗試的 90%,利用率則從11.7% 提升到 25%。這些是 Success@k 估計值,是在每個任務三次記錄執行的子集上取平均得到的,因此單次嘗試的成功率與主評估及其他消融實驗並不相同。
一次失敗的執行可能反映的是分析路徑沒有成效,而不是任務超出了AI 助理的能力。增加嘗試次數能提供更多找到有效路徑的機會,但收益會遞減,利用方面的差距依然存在。
標準加固之後會怎樣?
我們用棧金絲雀、位置無關執行檔、完整 RELRO、不可執行棧以及啟用 Fortify 的編譯方式,重新構建了主實驗中 Codex 成功利用的 20 個目標。
Codex 仍然恢復了20 個漏洞中的 15 個(75%),但只完成了兩次利用(10%)。這是從先前成功案例中選出的後續集合,並不代表全部 100 個任務在加固後的利用情況。
結果顯示,觀察到的漏洞利用大幅減少。結果同時表明,所測試的防護措施並未堵死所有路徑:僅存的兩條利用路徑會影響棧之外的可寫狀態,並複用已有程式碼。觀察到的降幅中還包含AI 助理搜尋波動和服務交付失敗的影響,因此無法單獨歸因於加固措施本身的因果作用。
這對攻擊方和防禦方意味著什麼
AI 能把二進位制補丁變成漏洞利用,這可能改變攻防雙方的力量對比。CyberBinGym 表明,AI 助理已經能在受控環境中利用編譯後的更新還原並利用真實漏洞,既不需要原始碼,也不需要預先提供觸發輸入。對攻擊方而言,把這項工作自動化,可以降低針對未打補丁軟體所需的技術門檻和人工投入,讓漏洞利用更容易上手。
對防禦方來說,關鍵問題在於修復釋出與部署之間的時間差。補丁安裝後才會提供保護,但補丁的釋出也可能洩露資訊,讓人知道哪些系統仍在執行存在漏洞的版本。如果AI 助理讓漏洞利用變快,而部署延遲依然存在,攻擊方就會在這段時間視窗內佔據優勢,防禦方的響應時間則更少。在我們的配對研究中,提供打過補丁的二進位制檔案後,漏洞利用成功率從 10% 升至 25%,這正說明更新本身對這一平衡有多重要。
同樣的能力也可以用於加強防禦。二進位制分析能幫助防禦方在沒有原始碼的情況下評估第三方軟體、確定緊急更新的優先順序,並判斷各項緩解措施能否阻止漏洞造成有害後果。分別衡量漏洞還原與漏洞利用,有助於區分容易復現的故障與已被證實的安全後果,從而在補丁視窗期內做出更有依據的決策。
我們的實驗使用歷史漏洞和受控的受害服務,並未衡量生產環境的實際入侵率,也沒有測量利用一個新發布補丁所需的時間。這些結果確立的是能力本身;它究竟能縮短多少現實世界的響應視窗,仍是一個有待進一步評估的重要問題。
隨著這類能力不斷提升,防禦方需要把 AI 輔助分析轉化為更快的防護行動。及時部署補丁,以及在更新安裝前仍然有效的多層防禦,正變得越來越重要。CyberBinGym 提供了一種方法,用來追蹤可能加速攻擊方進展的能力,併為防禦方如何為這一變化做好準備提供參考。
Berkeley RDI
推進去中心化與 AI 的科學、技術和教育,賦能負責任的數字經濟。
Copyright © 2025 UC Regents; all rights reserved
來源:Berkeley RDI:Blog · rdi.berkeley.edu