跳到正文
aihot(aihot.news)· noreply@aihot.news (Anthropic:Claude.dev 開發者部落格)·· 6 天前精選品質評分81

Claude Code 團隊如何設計 AI 助理的驗證與測試流程

Claude Code 團隊如何設計 Agent 驗證與測試流程

重點導讀

AI 助理寫程式很快,但如果沒辦法確認改動真的能用,人就得一項項檢查。

  • Claude Code 團隊分享了自己的做法:讓 AI 助理在實際運作的應用程式裡測試改動,再用端到端測試、檢查規則和可靠性清單找問題。
  • 檢查連續三輪都沒通過時,就停下來請人處理。團隊也會先用觀察模式試行新的提交關卡,確認不會誤擋後再強制執行。這套流程的重點,是讓測試規則不受正在檢查的改動影響,並把發現的漏網問題整理成往後可用的檢查。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Claude Code 團隊分享如何用端到端測試、可靠檢查與人工介入門檻驗證程式改動,適合參考其安排測試流程與避免檢查失效的做法。

正文

Anthropic:Claude.dev 開發者部落格· Addy Osmani·2026-11-16 20:00· 9 小時前精選AI 評分77

How the Claude Code team thinks about verification

AI 導讀

Anthropic Claude Code 團隊分享其驗證方法論,團隊約 90% 的程式碼由 Claude 編寫和審查,驗證迴圈讓並行執行數十上百個 Claude 成為可能。

推薦理由

Claude Code 團隊披露內部約 90% 程式碼由 Claude 寫成時的驗證方法,E2E、屬性、差分三類測試與驗證門禁流程可直接遷移到自己的 Agent 工作流。

在 Claude Code 團隊,我們絕大部分程式碼(約 90%)都是由 Claude 編寫並由 Claude 審查的。在這樣的規模下,如何讓AI 助理用證據來驗證自己的工作,就變得極其重要。

驗證閉環是讓你能把更多工作交給 Claude 的基礎。沒有它,你基本上只能同時跑一兩個 Claude,因為所有東西都得自己檢查。有了它,你可以並行跑幾十甚至上百個。

這是因為給AI 助理一個驗證其輸出的途徑,是提升質量的有效方法。在圍繞結構化檔案生成的內部測試中,讓一個獨立的評分器按評分標準檢查 Claude 的工作,相比標準的提示詞迴圈,任務成功率最多提升了 10 個百分點,而且在最難的問題上收益最大。

過去驗證成本很高的東西(測試、基準、規格、真實的端到端執行),現在讓AI 助理來做成本很低。和寫程式碼一樣,AI 助理能快速生成測試、基準和規格。而且一旦生成,這些測試和基準就以軟體形式執行,可以頻繁執行,不必額外消耗大量 token。

你還可以用結果來改進AI 助理在該任務上的表現,從而閉合驗證迴路。比如,如果AI 助理反覆通不過某個檢查日誌中是否含使用者資料的測試,你可以在 CLAUDE.md 裡建立一個鉤子或一條更明確的規則,避免以後再出問題。這樣(基本)能防止問題再次發生。

那麼,既然驗證對高速產出高質量程式碼如此關鍵,該用哪些型別的測試,又該如何在整個流水線中應用它們?本文回答這些問題,並分享 Claude Code 團隊的做法。

並非所有測試生來平等:值得投入的 3 類測試

無論選擇哪種測試型別,都有幾種失敗模式要避免。

如果測試不穩定,你就會把AI 助理訓練成重跑測試,而不是去修出錯的程式碼。如果測試很慢,AI 助理在批次之間做的測試就會更少,這會讓你難以定位問題。較重的測試最好在提交改動之前執行。

下面是我認為最值得投入的三類測試。

端到端測試

如果只能專注一類測試,那就選端到端。這類測試描述真實的使用者流程,比如把商品加入購物車、結賬、跳轉到確認頁。

端到端測試之所以有效,是因為它很難被糊弄——要麼整個功能能用,要麼不能用。它還有明確的完成標準,能具體告訴你哪裡壞了。

Unit test failure vs. end-to-end test failure. Left: checkout.test.ts shows only “FAIL checkout.test.ts / Error: Timeout after 30s”, captioned “Shooting blind. No step, no trace.” Right: checkout.spec.ts shows a step trace (Register, Add item to cart, Checkout failed, See confirmation page not reached), a screenshot of shop.example/checkout with “Payment form failed to load” and a disabled “Place order” button, and “What step failed: Checkout: ‘Place order’ stayed disabled because the payment form never loaded”, captioned “Screenshots, trace, and a description of what step failed.”
圖 A單元測試可能只顯示“錯誤:30 秒後超時”,而端到端測試能給出截圖,並說明哪裡壞了。

單元測試雖然更快、更穩定,但有可能測試通過了,功能卻依然是壞的。這是因為AI 助理和測試都沒有理解完整任務。

用端到端測試時,讓AI 助理在真實執行的系統上動手、動眼是有效的。你可以用一個技能,藉助 CDP、模擬器或 API 測試框架等工具來啟動、驅動和檢查應用。

功能地圖可以作為AI 助理的指南和評分標準,因為它通常從使用者視角列出功能,並描述路徑、鍵盤快捷鍵、選擇器和預期結果。

屬性測試:不可打破的約束

很多測試都是基於你預想中可能出問題的地方來設計的。而屬性測試關注的是人們容易忽略的邊界情況,AI 助理往往正是在這些地方出錯。

你先寫一條你認為不可能失敗的斷言,然後用測試庫(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest 等)生成成千上萬個輸入,試圖證明它不成立。

幾乎每個軟體專案裡都有大量屬性,比如:

  • 往返編碼:“把 X 編碼後再解碼,得到的還是 X。”解析和序列化同樣適用。
  • 不變數:必須始終成立的東西,比如“賬戶餘額永遠不會變成負數”。
  • 冪等性:同一個操作(遷移、歸一化、重試)執行兩次和執行一次效果相同。
  • 等價性:最佳化後的程式碼與樸素但正確的程式碼產生相同結果。

屬性測試庫用邊界情況來檢驗AI 助理是否誠實可靠,而這些邊界情況不會帶著與生成原始程式碼的AI 助理相同的偏見。在重寫場景中,它們尤其有用——此時規格說明已經偏離生產環境的行為,不再是可靠的驗證依據。

差分測試:以舊系統為準繩

差分測試在功能預期保持不變的大規模遷移場景中尤其有效。做法是用相同的輸入分別執行舊系統和新系統,看結果是否不同。如果不同,就說明存在需要修復的 bug 或破壞性變更。

差分測試的關鍵在於使用隨機生成的輸入或生產流量樣本。你還需要歸一化空白字元等無關因素,並維護一份已批准的變更清單,用於新環境本就應當與舊環境不同的情況。

Claude Code 團隊如何看待驗證

我們之前寫過Anthropic 的程式碼審查是如何運作的,而本文想更深入地講講我們如何驗證自己的工作。

驗證意味著把改動跑起來

端到端執行應用比測試更重要。你不會沒在模擬器裡試過就釋出 iOS 改動,Claude 也一樣。

Claude 可以像人或者 QA 工程師那樣測試整個應用。對於 Web 改動,讓它使用 Claude Chrome 擴充套件;移動端用 iOS 或 Android MCP;桌面端用 computer use;後端工作則在本地執行服務。

要把如何啟動模擬器或執行應用固化下來,可以建立一個名為 verify 的技能。把它放在倉庫的 .claude/skills/ 資料夾裡,儘量靠近相關程式碼,需要多少個就加多少個。Claude 知道在提交改動前使用 verify 技能。

然後投入精力讓 verify 技能又快又可靠。讓 Claude 反覆迭代並做壓力測試。這是你的冒煙測試工具,所以要確保它堅如磐石。

當你給 Claude 一種端到端冒煙測試其改動的方法時,效果會好得多。你會看到它像人一樣反覆迭代,更快地發現真正的錯誤。在 Anthropic,我們幾乎所有的改動都是這樣測試的。

失敗的測試需要人來處理

沒人能讀完每一處改動,所以我們把失敗作為判斷哪些需要人介入的一種方式。Claude 會執行檢查並嘗試修復任何失敗項。如果檢查在三輪之後仍然失敗,Claude 就會停下來,請人介入。

程式碼所有者編寫自己的檢查

寫檢查規則的人自己出錢維護這些規則,並不斷打磨,直到它們能標出所有者會標出的問題。當某項檢查引入評審者時,應當說明原因,這樣評審者就不必自己從 diff 裡推斷。

可靠性檢查由 diff 觸發

我們維護一份包含 39 個條目的可靠性清單,每個條目都有一個可從 diff 讀取的觸發條件、一項檢查,以及它背後的故障事件或 PR。其中一條是“--resume 會載入舊對話記錄”。當會話儲存或訊息型別發生變化時,我們會追問新欄位能否安全載入,因為舊對話記錄裡不會有這個欄位。

Claude 讀取 diff,只檢查觸發條件匹配的條目——通常 3 到 10 條——這樣沒人需要記住過去的故障。

一個評審者,多輪評審

我們不靠堆疊更多評審者來改進評審。在主評審者之上再加一個更昂貴的第二評審者,往往不如調優主評審者。我們的做法是維護一份 REVIEW.md,說明評審者針對這類程式碼應該關注什麼。

我們還認為,評審與驗證的輪次應當層層遞進。每一輪都指向此前輪次的上下文和過去的失敗,而不是從頭重新檢查所有內容。這樣成本更低,發現的問題更多。

變更不能修改自己的檢查

如果一項變更能修改評判它的檢查,那這項檢查就是失效的。程式碼評審從基線分支或預設分支讀取 REVIEW.md 檔案,絕不從拉取請求的變更中讀取。Claude Code 團隊確保把關變更的規則位於變更無法修改的分支上。

Claude Code 團隊還把評審限定在提交上。如果有人在評審進行時推送新程式碼,評審結果就不再有用。對過期提交的通過評審毫無意義。

團隊還先跑成本低的檢查。如果AI 助理在本地測試之前就推送,它就佔用了共享的評審和 CI 時間,而它本可以自己發現這個 bug。在我們團隊,Claude 會在開啟拉取請求之前執行測試、構建和 linter。你可以用一個 hook 在 Claude 完成時執行測試,或者用 /goal 設定測試套件通過的目標,來強制執行這一點。

新關卡先以觀察模式啟動

在我們自己的倉庫裡,我們會給每個提交打上驗證方式的標記。標記甚至包含“none”,這樣我們就能查詢未經驗證的提交。

我們還建立了一個提交關卡,如果會話中沒有包含 /code-review 或 /verify,就可以阻止提交。我們為它設定了 off、observe 和 enforce 三種模式。

觀察模式會記錄本應被阻止的內容,這樣我們可以審查任何誤報,確保沒有人受到影響。

強制模式會阻止提交。任何提交都可以在提交資訊中說明為什麼沒有經過驗證。如果會話中提交已被阻止兩次,下一次就會放行,以免 Claude 卡住——Claude Code 並不完美。

用真正重要的東西檢驗你的檢查

Claude Code 團隊還會定期評審評審者。我們跟蹤有多少已合併的變更被回滾、維護者在合併前拒絕了多少變更,以及一組規模匹配、保持乾淨的變更。

這也可以通過正式評估來實現。在程式碼審查文章中,我們介紹了 Code Review 團隊如何基於以往的事故和回滾建立評估。他們會把每個示例的倉庫還原到審查時的狀態,並給出一句話的答案要點,說明 bug 是什麼。只有正確描述該 bug 的發現才能得分。他們用已合併且穩定的改動作為對照組,防止過度標記。調優集與用於評估系統的固定測試集是分開的。

他們還分別評估了原始發現、驗證後和最終審查的召回率。這樣就能看出系統是否在丟失已經發現的 bug。任何把這些都當成一個端到端分數的評估,都無法捕捉到這種細微差別。

除了有效性,我們關心的另一個維度是做出這項改動有多重要。好的審查者能發現大多數技術上正確的問題,但人們真正關心的是某個 bug 屬於必須修復、應該修復還是吹毛求疵。

Code Review 正是這麼做的,它會將問題標記為重要、吹毛求疵或既有問題。“既有問題”標籤意味著審查者不應讓作者為本來就存在的 bug 負責。

最後,Claude Code 團隊會把召回率調高到這樣一個程度:再進一步最佳化就會過擬合評估,而不是真正發現 bug。

把漏報變成規則

在 Claude Code 倉庫中,我們有兩種把漏報案例轉化為規則的方法。第一種是從人工程式碼審查評論和 PR 回滾中提取模式,找出常見問題。這些問題必須至少出現在兩個 PR 中,並且能從 diff 中識別出來,才能被視為潛在規則。會有三個AI 助理嘗試證偽它們,然後由人工在 PR 中審查並批准。

第二種方法是讓三個 bug 查詢器重放一個與已知事故相關的 PR。如果至少有兩個找到了該 bug,就說明它是可檢測的 bug。如果在小 diff 上漏掉了這個 bug,這就是一個值得寫入 REVIEW.md 規則的缺口。

不穩定的測試也按同樣方式處理。Claude 不能跳過它們、加 sleep 或重試直到通過。如果找不到根本原因,就刪除該測試並寫下原因。

規則也需要清理。測試套件、驗證步驟和 .md 檔案只會越積越多,所以我們定期整理。

好的測試帶來好的結果

我們發現,給AI 助理一個能通過強反饋迴圈驗證其工作的方法,會帶來天壤之別。像對待任何其他系統一樣對待你的驗證層。讓它遠離它所評判的改動,用對你真正重要的 bug 來給它打分,並在它漏掉問題時寫下教訓,以免同樣的問題再次發生,同時精簡這些教訓,讓它們始終值得執行。

做到這一點,你的工作就會從閱讀每一個 diff 轉變為定義“完成”是什麼樣子並審查證據,這正是讓你能同時執行多個 Claude 的原因。

來源:Anthropic:Claude.dev 開發者部落格 · claude.dev

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論