跳到正文
aihot(aihot.news)· noreply@aihot.news (Wiz:Research)·· 12 天前精選品質評分71

Wiz Research 說明如何評估 AI 助理的網路安全能力

Wiz 講解如何評估 AI 助理的網路安全能力

重點導讀

Wiz Research 說明如何設計 Cyber Model Arena v3.9,評估 AI 助理執行真實網路安全任務的能力。

  • 基準規模:涵蓋 26 個模型、59 個AI 助理與 327 道挑戰,分為程式碼漏洞、API 安全、網頁安全與雲端安全四類。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章說明如何以真實任務、確定性程式評分與環境隔離設計基準,並呈現不同任務類別的測試結果差異。

正文

Wiz:Research· Jay Tenenbaum·2026-11-11 00:03· 2 小時前精選AI 評分64

How to Evaluate AI Agent Cybersecurity Capabilities

AI 導讀

Wiz Research 介紹其 Cyber Model Arena v3.9 的基準設計方法,該基準覆蓋 26 個模型、59 個AI 助理和 327 道挑戰,分程式碼漏洞、API 安全、Web 安全和雲安全四類。

推薦理由

Wiz 研究人員分享了自建網路安全AI 助理基準的設計原則與踩坑經驗,解釋了為何用確定性程式碼評分替代 LLM 評委並隔離防作弊。

如何衡量不同AI 助理執行常規、真實網路安全任務的成功程度? 

許多公司已經在自己的開發和部署生態中使用AI 助理,而攻擊者有時會利用成群的攻擊型AI 助理同時攻擊數千家公司。為了幫助防禦方為這個新時代做好準備,我們需要一個能比較這些AI 助理能力的評分。正因如此重要,學術界和業界的實驗室都開始著手研究如何衡量,並制定正確衡量的標準,所以這個話題既及時又日益相關。

在本文中,我將分享 Wiz 在重新推出 Cyber Model Arena 時,為應對這一基準測試要務所遵循的關鍵原則。完整的方法論、我們的評分方式以及任務收集過程可供下載。截至本文撰寫時,Wiz Cyber Model Arena v3.9 包含 26 個模型、4 個通用執行框架、59 個AI 助理、327 個挑戰,每個挑戰有三次嘗試機會,每次限時 1,000 秒(這些數字還在不斷增長)。

要建立基準測試,先確定基準目標。然後圍繞它構建任務、環境和度量方式。我將在本文後面詳細展開這一點,並解釋指導整個流程的原則。

核心要點

  • 選對任務。在寫第一個任務之前,先確定為什麼(目標)、是什麼(資料、標準答案和AI 助理配置)以及怎麼做(指標、評估函式)。儘可能從真實分佈中構建資料,而不是用 AI 生成或 AI 標註的任務。

  • 用程式碼評分,而不是用 LLM。直接、確定性地衡量成功,並採取防作弊措施:將AI 助理與伺服器和網際網路隔離,不給它任何查答案的途徑。除非設計良好、經過校準且沒有偏差,否則不要依賴 LLM 作為評判者。

  • 讓評估儘可能貼近真實。把執行框架和模型放在一起評估,給AI 助理不止一次嘗試機會,並權衡成功與解題成本。

  • 避開常見陷阱。LLM 評判、樣本量小、任務不均衡、只評估模型以及答案洩露,都會讓基準測試不可靠。而且要從小的開始:一個執行框架、一個快速且便宜的模型、幾個任務和一個簡單的評分器。等跑通了再擴大規模。

從問題陳述開始

大多數公開的網路安全AI 助理基準測試回答的,並不是防禦方所問的那個問題。選擇題測驗衡量的是模型知識,而非生產環境表現;由另一個模型評判 LLM 輸出,衡量的是兩者之間的一致性,而非成功與否。我們要回答的是:AI 助理能否執行一次真實的攻擊。

寫下你的基準測試必須回答的那一個問題,並用它來檢驗之後的每一個決定。我們的問題是:

僅給定任務指令、一個通用AI 助理腳手架、1,000 秒的時間預算,且沒有外部知識來源,AI 助理能否在真實目標上產生可驗證的效果?

Wiz Research 的《2026 年雲端 AI 現狀報告》發現,至少 57% 的組織已經部署了自託管的 AI 助理技術,而在觀測到的雲環境中,至少 80% 出現了 MCP 伺服器。人們已經在採購這類系統,也已經在針對它們做防禦。這就是為什麼。本文餘下的部分講的是,如何構建一個服務於這個目的的數字。

設計你的基準測試

在建立第一個挑戰之前,先定義三件事。

為什麼。防禦方或採購方應當能夠依據這個數字採取行動。“更高的 pass@1”不是為什麼。“這個AI 助理在交付狀態下,僅憑指令能否攻破一個真實目標?”才是。

是什麼。明確被評估的物件。在這裡,它是由攻擊者執行的AI 助理(模型 + 執行框架 + 工具 + 系統提示詞),這也是我們採用貼近現實的限制條件的原因:1,000 秒、三次嘗試、簡單的系統提示詞,並且可以訪問客戶端程式碼但不能訪問服務端程式碼。

怎麼做。基準測試為每個樣例報告一個單一的底線指標很重要。要把眾多相互競爭的指標歸結為一個數字,就選一個最佳化指標,把其餘一切都當作滿足性約束。如果你有五個相互競爭的指標,又無法把它們歸結起來,那麼哪個AI 助理更好就會變成一場關於指標的爭論。

讓任務與工作實際相符

基準測試只能代表它所包含的任務。只採樣困難任務,你衡量的就不再是工作中的成功率,而是困難任務上的成功率。而一個僅憑單一任務類別就聲稱衡量“攻擊能力”的基準測試,是言過其實的。

因此,我們從現實中已經存在的來源構建了四個權重相等的類別。我們沒有用 LLM 生成或標註任務。

類別任務測試內容
程式碼漏洞221在剝離符號的開源包中尋找已知漏洞,或利用一個真實的 1-day CVE
API 安全54在沒有原始碼的情況下攻擊黑盒 API
Web 安全29利用客戶端原始碼可見的真實 PHP Web 應用
雲安全23利用 AWS、Azure、GCP 和 Kubernetes 式環境中的錯誤配置

AI 助理在不同類別之間的表現差異很大。對 59 個AI 助理取平均,pass@1 在 API 安全上為 78.0%,Web 上為 64.6%,雲上為 56.5%,程式碼漏洞上為 38.2%。總排名第一的AI 助理在 Web 上得 74.7%,在程式碼上得 65.8%(而 Web 最高可達 90.8%)。另一個AI 助理在程式碼上只得 9.7%,在 API 上仍有 71.6%。

即便是頂尖AI 助理,在程式碼上也只有 65.8%,在 Web 上為 74.7%。Claude Code 上的 Grok 在程式碼上為 9.7%,在 API 上仍有 71.6%。(來源:Cyber Model Arena v3.9)

規模也很重要。近期許多網路安全基準測試的任務數不足 30 個。在 50% 的成功率下,30 個任務給出的 95% 置信區間約為 ±18 個百分點,因此一個比另一個高 15 分的AI 助理未必就更好。

評估效果,而不是用 LLM 打分

真實標註是評估的基礎。用 LLM 作為評判者來打分一直是標準做法,但評判者並不直接衡量成功。它們有偏差(往往偏好第一個選項)、有隨機性(每次執行結果不同)、昂貴且緩慢,而且要想在長期使用的基準測試中使用它們,必須先做校準和去偏。當你使用評判者時,你衡量的是某個 LLM 是否認為AI 助理成功了。這個差異是系統裡內嵌的一筆債。

我們改用程式碼來評判。每道題都設計成會留下可核查的痕跡,或輸出精確的結構化結果,AI 助理退出後由確定性的評分器檢查。程式碼評分器成本低、可重複執行,也不是需要校準的模型。

通過隔離防止作弊

只要有機會,AI 助理就會走捷徑:上網查答案、從磁碟上讀現成解法,或者操縱評分器。如果分數是在能聯網搜尋、能查 CVE 資料庫、資料夾裡還寫著題目名稱的條件下拿到的,那衡量的就是別的東西了:究竟是完成了任務,還是攻破了任務。CTFusion 僅僅放寬了聯網搜尋許可權,解題率就變化了多達 12 個百分點。

至於資料汙染,我們無法證明AI 助理在預訓練時沒見過某道題,但可以證明它們在測試過程中取不到這道題。防作弊應該做在環境裡,而不是寫在提示詞裡。

從小處著手

構建基準測試是一項不簡單、需要持續演進的工作,很容易在還沒跑通端到端流程時就先寫 300 道題。我們反過來採用精益創業的原則:先做出一個能手工檢查的小規模端到端基線,再逐步迭代。

你需要十道能重複執行的題、一個能部署的執行框架,以及一個評分器能檢查的評估指標。確認這套東西能跑通之後,再擴大規模。

我們的發現

執行框架要與模型配對

模型本身只是一個文本預測器。只有放進能執行命令、呼叫工具的執行框架裡,它才成為攻擊者,而不同模型在不同框架裡的表現有好有壞。我們在 Claude Code 和 ADK React 上各跑了 22 個模型,平均絕對差距為 5.1 個 pass@1 百分點。Claude 系列模型更偏好 Claude Code,Gemini 3.8 Flash Cyber 則更偏好更精簡的 ADK 迴圈。

不同模型與不同執行框架的搭配效果不同,平均絕對差距為 5.1 個百分點。(來源:Wiz Cyber Model Arena v3.9)

結論是:要把整個系統作為一個整體來測試。要麼讓執行框架與模型配對(如我們所見,最好讓框架與模型的開發方相匹配),要麼固定一個通用框架,在其中比較不同模型。

攻擊者不止一次機會

真正的攻擊者不會失敗一次就收手。我們給每個AI 助理每道題三次嘗試機會,多出來的嘗試不只是抬高了分數,對某些AI 助理來說,甚至改變了誰更勝一籌的排名。

準確率是有代價的

給AI 助理更多時間和預算,它通常能解出更多題。所以真正有用的圖表是把成功率與解題成本放在一起看。任何不在帕累托前沿上的AI 助理,都嚴格劣於前沿上的AI 助理。例如,Claude Code 搭配 GPT-5.6 Sol 平均 pass@1 為 64.2%,每次解題花費 8.29 美元、耗時 27.2 分鐘;而帕累托前沿上的 Codex + GPT-6 Luna 嚴格更優,平均 pass@1 為 64.5%,每次解題僅需 0.05 美元、6.3 分鐘。

ADK React + Gemini 4 Argon 位於前沿的高準確率一端,達到 77.2%,花費 0.77 美元、耗時 4.3 分鐘。Claude Code + GPT-5.6 Sol 花了 8.29 美元、27.2 分鐘,只達到 64.2%,落在前沿之外。同一模型上的 Codex 為 69.8%,花費 2.06 美元、耗時 5.7 分鐘。(來源:Wiz Cyber Model Arena v3.9)

維護一份位於前沿上的AI 助理短名單,其餘的一概忽略。這樣你就能問:“在這個預算下,我如何最大化成功率?”或者“要達到這個成功率,我如何最小化成本?”

侷限性

  • 四個簡單的執行框架。專門面向網路安全的框架很可能得分更高,但我們選擇衡量一個簡單的攻擊者。

  • 程式碼漏洞的字串相等判定。語義上正確的根因,只要缺少預期符號就得 0 分。我們選擇精度優先於召回率。

  • 公開網頁任務。websec.fr 是已知語料庫。隔離機制能阻止AI 助理去查答案,但阻止不了它從訓練資料裡記住答案(可能造成基準汙染)。

  • 時間上限。1,000 秒足以覆蓋我們觀察到的大多數成功攻擊。我們認為未來限制成本比限制時間更合適。

  • 置信區間。我們尚未在網站上公佈,正在處理中。

結論

我們的 Cyber Model Arena 展示了不同AI 助理在常見網路安全任務上的表現,覆蓋四大類共 327 個隔離挑戰。要構建AI 助理網路安全基準,先定好為什麼、做什麼和怎麼做,再明確AI 助理、任務組合、評分器、隔離、預算和嘗試次數。任何一項出錯,基準就會變成垃圾進、垃圾出。

附錄:全部 59 個AI 助理的結果

所有AI 助理,按 pass@1 排序。分數為百分比。

來源:Wiz Cyber Model Arena v3.9。

執行框架模型pass@1pass@2pass@3每次解決成本(美元)@1每次解決耗時(分鐘)@1
ADK ReactGemini 4 Argon77.284.186.30.774.3
AntigravityGemini 4 Argon77.085.187.50.978.4
ADK ReactGemini 3.8 Flash Cyber74.979.781.51.625.0
Claude CodeClaude Opus 571.277.479.42.6312.2
CodexGPT-6 Sol71.275.477.00.676.6
Claude CodeGemini 4 Argon70.880.785.70.845.3
Claude CodeGPT-6.1 Sol70.777.079.21.238.1
CodexGPT-6.1 Sol70.677.579.20.444.9
Claude CodeGPT-6 Astra70.277.379.56.486.8
CodexGPT-5.6 Sol69.876.078.52.065.7
Claude CodeGPT-6 Sol69.373.676.01.2617.9
CodexGPT-6 Astra69.277.279.32.684.1
Claude CodeGemini 3.8 Flash Cyber68.575.378.01.525.7
AntigravityGemini 3.8 Flash Cyber68.075.278.20.894.3
ADK ReactGPT-5.6 Sol66.971.072.07.4615.3
ADK ReactClaude Sonnet 5.566.873.175.80.873.3
AntigravityGemini 3.7 Flash65.671.874.00.477.0
Claude CodeClaude Opus 4.865.470.371.82.7711.9
ADK ReactClaude Opus 5.564.776.079.72.565.3
Claude CodeClaude Sonnet 5.564.772.474.90.221.9
Claude CodeClaude Opus 5.564.574.979.70.783.2
CodexGPT-6 Luna64.571.374.30.056.3
Claude CodeGPT-5.6 Terra64.470.272.53.4822.4
Claude CodeGPT-5.6 Sol64.270.373.38.2927.2
CodexGPT-5.6 Terra63.070.072.60.924.6
ADK ReactGemini 3.6 Flash61.066.068.22.3130.6
ADK ReactGPT-5.6 Terra60.968.170.64.1615.7
Claude CodeGPT-6 Luna60.566.369.30.0921.1
Claude CodeGemini 3.5 Flash60.568.471.58.9922.5
Claude CodeDeepSeek V4.1 Flash 101760.368.272.00.1724.4
ADK ReactGemini 3.7 Flash59.764.867.20.9538.7
AntigravityGemini 3.6 Flash59.367.671.51.317.4
Claude CodeClaude Sonnet 559.365.267.21.5814.1
Claude CodeGemini 3.6 Flash59.166.269.09.3216.0
Claude CodeGemini 3.7 Flash59.166.570.86.4727.4
ADK ReactClaude Opus 558.762.864.72.3726.3
Claude CodeGLM-5.358.066.570.83.1328.0
ADK ReactDeepSeek V4.1 Flash 101757.666.170.80.1526.8
Claude CodeClaude Haiku 5.557.067.071.00.226.6
Claude CodeDeepSeek V4 Pro54.463.066.80.6712.1
ADK ReactGemini 3.5 Flash53.661.965.52.3541.6
ADK ReactDeepSeek V4 Pro52.859.863.11.6131.9
ADK ReactClaude Opus 4.852.558.159.81.5319.2
ADK ReactKimi K352.260.963.81.0921.7
Claude CodeKimi K351.060.865.71.8928.6
Claude CodeClaude Sonnet 4.550.559.463.72.3917.7
Claude CodeDeepSeek V4.1 Flash50.257.061.00.4139.4
ADK ReactGLM-5.349.156.160.81.4040.1
ADK ReactClaude Haiku 5.548.656.258.50.057.1
Claude CodeGLM 5.3 Flash48.256.660.40.3433.9
ADK ReactDeepSeek V4.1 Flash47.455.659.10.2240.1
ADK ReactGrok 4.646.662.167.52.3943.0
ADK ReactClaude Sonnet 4.546.552.956.21.7546.0
Claude CodeGrok 4.645.555.558.72.8551.2
AntigravityGemini 3.5 Flash44.352.856.81.0715.7
ADK ReactClaude Sonnet 542.047.550.51.6942.5
ADK ReactGLM 5.3 Flash41.848.651.60.2055.5
ADK ReactMiMo V2.6 Pro39.745.448.70.1755.5
Claude CodeMiMo V2.6 Pro39.044.447.50.5358.7

來源:Wiz:Research · wiz.io

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論