跳到正文
Vercel Blog(vercel.com)· George Fahmy·· 7 天前精選品質評分69

Vercel 示範如何測試 AI 助理能不能完成使用者的工作

Agents are users, so your software needs evals

重點導讀

AI 助理看起來完成了工作,結果卻可能點錯飲料,或花超過使用者設定的預算。

  • Vercel 用咖啡訂單示範如何反覆執行同一項任務,檢查最後結果是否符合飲料、取餐時間和總金額等要求,再檢視失敗紀錄,找出助理在哪一步出錯。
  • 文章也說明成功率、Pass@k 和 Pass^k 的差別:如果使用者每次都需要答對,Pass^k 能看出助理是否夠可靠。
  • 團隊可以用這些測試比較修改前後的結果,並在產品更新時重跑,及早發現問題。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章用咖啡訂單示範如何從使用者常遇到的錯誤設計測試,並比較成功率與 Pass^k,幫助團隊找出需要修正的環節。

正文 · 中文翻譯

代理程式現在是軟體的使用者,會代替人們完成工作。無論你打造的是代理程式,還是它使用的軟體(API、CLI、MCP 伺服器、SDK),評估都能讓你衡量這些工作完成得有多好。

代理程式大概沒看過你的產品發表影片,也沒注意到你在 101 號公路旁的廣告看板,但它們尋找並使用產品時,仍會經過與人類相同的漏斗:探索、選擇、存取與成功。

你可以為這個漏斗的任何階段建置評估。本文將聚焦在最後一個階段,也就是成功:代理程式是否正確完成使用者的任務。

這比聽起來更難檢查。使用者要的是冰拿鐵,代理程式卻可能下單買了熱拿鐵,而且訂單還是「成功」送出。請求有成功執行,因此可觀測性技術堆疊中的紀錄看起來也沒問題。再加上大型語言模型的輸出每次執行都可能不同,單次手動測試無法告訴你修正是否有效。你需要在變更前後重複執行相同任務,並為結果評分。

這就是評估:重複執行多次並評分的測試。以下說明我們如何建置評估。

代理程式測試金字塔

測試會問「是否成功執行?」,評估則會問「成功的頻率有多高,完成品質有多好?」

我們依照通常需要的 LLM 呼叫次數,將代理程式軟體測試分成幾類:決定性測試(0 次)、單輪評估(1 次)和端對端評估(整個任務共 2 次以上)。事實證明,這是衡量建置測試所需心力、執行時間及執行成本的絕佳指標。就像實用的測試金字塔所說,測試套件中應以便宜又快速的測試為主。

使用金字塔時,先找出你想攔截的問題,再挑選足以攔截問題的最低層級。對於成功而言,答案是最頂層。單輪評估會檢查單一決策,例如代理程式首先執行哪個命令。但成功取決於整個步驟序列(例如搜尋咖啡館 → 依照使用者條件篩選 → 下單買拿鐵)。每個步驟單獨看都可能合理,但代理程式最後仍可能得到錯誤結果。

端對端評估會讓代理程式在某個環境中完成整個任務,接著檢查最終結果是否符合使用者的要求。你可能已經看過一些這類評估;大多數熱門的程式設計基準測試,例如SWE-bench和Terminal-Bench,都是端對端評估。

範例

假設你經營 SF Beans,這是一個在舊金山訂購咖啡的 API。讓代理程式使用服務的最佳方式之一是透過 CLI,因此你正要推出 sfbeans。

以下是某位客戶常見的請求:

幫我買一杯大杯冰拿鐵,加全脂牛奶,9:00 前可取,含小費不超過 $8。我人在 Mission 區。

以下是 sfbeans 在上午 8:30 掌握的資訊:

  • Fog City Roasters:製冰機故障,因此今天不供應冰飲 (溫度)

  • 24th St Beans:拿鐵選單價是 $7.50,但含稅和小費後是 $9.27 (預算)

  • Dolores Drip:拿鐵是 $5.50,但最早要到 9:20 才能取餐 (時間)

  • Valencia Grind:含稅和小費後是 $7.42,8:50 可取 (三項條件皆符合)

以下是你可以為 sfbeans 在金字塔各層測試的專案:

如何建置端對端評估

我們會使用Harbor建置咖啡評估。Harbor 是由 Terminal-Bench 創作者推出的開放原始碼框架,可在容器中執行代理程式、檢查結果並記錄其操作。

以下是本文會使用的術語:

  • 任務:代理程式要解決的一個問題,包含起始環境,以及檢查是否成功的方法

  • 變體:你正在測試的代理設定,例如模型、提示、工具、記憶與技能

  • 試驗:某個變體在某項任務上的一次嘗試

  • 執行(Harbor 中稱為 工作):每個變體都在每項任務上各嘗試數次

  • 追蹤紀錄(Harbor 中稱為 執行軌跡):試驗期間記錄的所有內容,包括訊息、工具呼叫、記錄檔、檔案與最終輸出

步驟 1:設定目標

要為所有專案建置端對端評估並不切實際。使用傳統軟體時,你可以力求達到 100% 的測試涵蓋率。使用代理時,需要涵蓋的範圍是 LLM 可能如何使用你的產品,而要判斷這個範圍的界線在哪裡也很困難(請參閱鋸齒狀前沿)。

先從一項使用者在意的成果著手,並將範圍縮小到只需少數幾項任務就能評估。通常可以從以下三個地方找到目標:

  • 可觀測性:哪些代理正在使用你的產品,以及它們在哪些地方失敗

  • 客戶:支援請求、意見回饋與客戶流失

  • 產品路線圖:最需要驗證的產品假設

例如,你的目標可以是:

  • 提高特定任務的成功率

  • 減少完成目標所需的步驟

  • 確認代理技能是否有幫助,並取得回饋以改進技能

  • 對提示進行 A/B 測試

  • 探索目前的 LLM 是否能達成某項使用情境;若失敗,則確認原因

範例

我們從以下三個地方為 sfbeans 尋找線索:

  • 可觀測性:大多數代理流量來自 Claude Code 和 Codex。我們之所以知道,是因為 sfbeans 偵測到特定的程式開發工具環境時,會加入 user-agent 標頭。

  • 客戶:最常見的支援請求是「我的代理點錯飲料了」:把冰拿鐵點成熱拿鐵、取餐時間排在使用者開會之後,或加上稅金和小費後總金額超出預算。

  • 產品路線圖:目前沒有急迫事項,因此先處理點錯飲料的問題,因為這會導致客戶流失。

由此訂出目標:

目標

提高訂單正確率,確保每次都點到使用者指定的飲料

代理

Claude Code 和 Codex,因為目前的流量來自這兩者。

涵蓋範圍

飲料、取餐時間與預算(含稅金和小費),使用目前的 sfbeans。

不涵蓋範圍

取消訂單、退款與帳戶。我們之後會評估這些專案。

完成條件

兩種代理在每次試驗中都正確下單,而不只是大多數時候。

步驟 2:定義指標

以下是我們在端對端代理評估中最常使用的指標:

成功

  • 成功率:通過的試驗所佔比例

  • Pass@k:k 次試驗中至少有一次通過的機率(回答「代理到底能不能完成這項任務?」)

  • Pass^k:k 次試驗全部通過的機率(回答「我能不能每次都信賴它?」)

效率(僅以成功的試驗計算)

  • 步數:完成任務所需的代理回合數

  • 時間:試驗所花的時間

  • 成本:試驗的費用,以美元計價

範例

我們的目標是讓每筆訂單在每次試驗中都正確無誤。在步驟 3 和 4 建置並執行評估後,Claude Code + Opus 5.5(在 anthropic/claude-opus-5.5 上使用 AI Gateway)針對冰拿鐵訂單進行五次試驗,結果可能如下:

試驗

結果

過程

步數

時間

成本

1

通過

比較了 3 家咖啡店的報價,在 Valencia 下單

9

3:40

$0.52

2

未通過:超出預算

略過報價比較,在 24th St 下單:$9.27

5

1:50

$0.31

3

通過

比較了 4 家咖啡店的報價,在 Valencia 下單

11

4:30

$0.68

4

未通過:太晚

在 Dolores 下單,預計 9:20 備妥

6

2:10

$0.35

5

通過

略過 Fog City,在 Valencia 下單

8

3:20

$0.49

數字代表的意思:

  • 成功率:5 次試驗中有 3 次通過,成功率為 60%。

  • Pass@5:假設各次試驗彼此獨立,成功率為 60%,1 − 0.4^5 ≈ 99%。讓 AI 助理試 5 次,幾乎可以確定至少有一次下單正確。

  • Pass^5:0.6^5 ≈ 8%。AI 助理連續 5 次都下單正確的機率。

  • 步驟數:成功試驗的步驟數為 (9 + 11 + 8) / 3 ≈ 9。失敗的試驗步驟較少,因為 AI 助理省略了部分工作,例如報出價格;因此效率只計算成功的試驗。

  • 時間:成功試驗約需 3:50。

  • 費用:每次成功試驗 $0.56;若把失敗試驗的費用也算進去,則為 $2.35 / 3 = 每次成功 $0.78。

那 Opus 好用嗎?它 99% 的 pass@5 表現看來不錯。但它 8% 的 pass^5 表示,使用者每個平日都用它點餐的話,有 92% 的週至少會點錯一杯咖啡。這兩個數字都沒錯,只是回答不同問題:pass@5 問的是 AI 助理能不能正確下單,pass^5 問的則是它每次都能不能正確下單。

哪個指標最重要,取決於失敗會讓使用者付出多少代價。使用者點早晨咖啡時,沒有重試機會。若 AI 助理點了熱拿鐵,或咖啡做好時他們的火車已經開走,他們不但付錢買錯咖啡,還會帶著一肚子氣開始一天。他們每天早上都需要點對,因此 sfbeans 會以 pass^5 為最佳化目標。

其他產品的容錯空間較大,因為失敗的代價低,而且在造成影響前就能發現:

產品

一次失敗會讓使用者付出什麼代價

應優先採用的指標

幫我點早晨咖啡

付錢買錯飲料、上班遲到、失去信任

Pass^k

搭配測試套件的程式碼 AI 助理

多花時間與模型費用;AI 助理會利用測試回饋修改程式碼並重試

Pass@k

撰寫一封讓使用者審閱的電子郵件草稿

按下寄出前快速修改一下

成功率

整體平均值可能掩蓋某項任務經常失敗的情況,因此務必逐項檢視結果。只有五次試驗時,100% 代表「目前還沒看到失敗」,而不是「永遠不會失敗」。

步驟 3:設計任務集

在步驟 1 中,我們為評測設定了目標:提高 AI 助理依照使用者要求點對飲料的頻率。但 AI 助理無法直接執行目標,它需要一項任務:根據使用者實際提出的要求,挑選一個具體請求。

挑選難度足以讓你從執行結果中學到東西的任務。一組好的任務應涵蓋常見情況、容易讓 AI 助理出錯的特殊情況,以及至少一項正確做法是不採取行動的請求。

每項任務都要定義以下部分:

  • 指令:使用者的請求

  • 環境:AI 助理工作的場域,每次試驗都使用相同的初始狀態

  • 驗證器:檢查最終狀態,最好能逐項條件評分

  • 已知正確的解法(選填):展示預期行為並通過驗證器的參考執行結果

你可以依照目標,將環境的各個部分設定得全然模擬或盡可能貼近現實。OpenPipe 團隊寫了一篇很不錯的文章,介紹他們如何為電子郵件研究 AI 助理定義環境。

範例

我們撰寫了四項任務,每項都是 tasks/ 裡的一個 Harbor 任務資料夾。

  • 常見情況:iced-latte-mission,也就是前面提到的訂單

  • 特殊情況:usual-unavailable,使用者平常去的咖啡店沒有他們要的飲料

  • 特殊情況:team-order,包含 6 杯飲料、總價 $45,且只有一個取餐地點

  • 不要採取行動: impossible-request,沒有任何選項符合條件,因此正確做法是告知使用者

impossible-request 多了一項檢查。它的驗證器會讀取 AI 助理無法寫入的命令記錄,確認 AI 助理在放棄前有先搜尋。我們是經過教訓才知道需要這項檢查的(請見步驟 5)。

以下是 iced-latte-mission:

指令會告訴代理程式使用者的要求,並指出 sfbeans CLI。在正式環境中,代理程式會透過技能、檔案或 MCP 伺服器找到工具。在這裡直接指定工具,就能略過探索和選擇階段,讓評估專注於成功。

我們也指定時間是上午 8:30。只有 sfbeans 使用我們凍結的時鐘;沙箱的系統時鐘仍顯示實際時間:

環境有一部分是真實的,一部分是模擬的。代理程式會使用真實的 sfbeans CLI,但操作的是預先建立資料的咖啡館,並搭配凍結的時鐘,讓每次試驗都從同一個早晨開始:

為了讓示範保持簡單,cafes.json 位於代理程式的環境中。在實際評估中,請保護種子資料和驗證程式碼,並確保代理程式只能透過 CLI 更新訂單紀錄。如果有助於通過評估,代理程式可能會嘗試鑽評分機制漏洞,例如修改庫存或直接寫入 orders.json。

以這筆咖啡訂單為例,驗證器會依據使用者的要求檢查最終訂單。代理程式完成後,Harbor 會執行 test.sh,並讀取它寫入 /logs/verifier/reward.json 的分數:

實際的檢查位於 check_orders.py。它會分別為每項限制評分,只有全部通過時才會將 reward 設為 1。Harbor 使用 reward 作為試驗的主要分數:

解答是已知可行的答案。在執行任何實際代理程式之前,先執行它以確認任務可正常運作:

最後,task.toml 會串起整個任務。它會設定逾時時間,在代理程式的沙箱中執行驗證器(orders.json 位於該沙箱中),並將訂單儲存為成品,讓我們能在步驟 5 檢視:

步驟 4:執行評估

如果你也和大家一樣討厭緩慢的 CI,就會受不了等待評估完成。每次試驗都要等代理程式逐步呼叫大型語言模型;而每次執行都會針對每個變體和任務,重複試驗好幾次。

我們在上游建置的 HarborVercel 整合能大幅加快流程。它會同時執行多次試驗,每次試驗都在自己的 Vercel 沙箱中進行,並快取已建置的任務環境,避免每次試驗都重新建置。透過 AI Gateway轉送模型呼叫,就能在不同模型供應商之間共用一組金鑰和預算。

範例

兩個代理程式:Claude Code 和 Codex,各搭配兩個模型,總共組成四個變體。

接著安裝 Harbor、連結 Vercel 專案,再執行工作:

這次執行符合 Hobby 方案的限制:Hobby 方案最多可同時執行 10 個沙箱,而每次試驗都遠低於 45 分鐘的工作階段上限。在 Pro 方案中,n_concurrent_trials 最高可調至 10,000(沙箱限制)。

為了讓範例保持簡單,我們會將 OIDC 權杖當成環境變數傳入每個沙箱,讓代理程式能讀取。若要用於示範以外的情境,請使用短效權杖,並透過 Harbor 的 Vercel 整合設定沙箱防火牆規則,將每次試驗的連線限制在所需的主機,例如 AI Gateway。

在內部,我們還會多做一步,使用憑證代理為傳出的要求附加憑證,讓 API 金鑰留在代理程式的環境之外。

步驟 5:分析追蹤紀錄

接下來是重頭戲:深入分析追蹤紀錄。分數會告訴你代理程式多常失敗;追蹤紀錄則會告訴你失敗的原因。請閱讀失敗案例,也看一些通過的案例,因為通過只代表驗證器判定符合要求。

範例

步驟 4 的執行結果會在 jobs/sfbeans-baseline/ 留下 80 個試驗資料夾。每個資料夾都包含該次試驗的結果、代理程式的執行軌跡、驗證器的分數,以及代理程式下的訂單(因為 task.toml 會將它儲存為成品):

執行 harbor view jobs 瀏覽結果。以下是四個變體可能回報的內容(數字僅供說明)。

針對每個變體,我們會分別計算各項任務的成功率與 pass^5,再將每項指標在四項任務間取平均。每項任務的權重相同。

變體

成功率

Pass^5

成功試驗的平均步數

每次成功的成本(含失敗試驗)

Claude Code + Opus 5.5

85%

60%

9

$0.61

Claude Code + Sonnet 5.5

75%

52%

11

$0.27

Codex + GPT-6 Astra

80%

43%

8

$0.48

Codex + GPT-6.1 Sol

65%

14%

13

$0.22

這就是我們的基準結果。在我們於步驟 2 選定的指標 pass^5 上,即使表現最好的變體也遠稱不上可靠。但分數並未告訴我們該修正什麼。要找出問題,我們得檢視失敗的試驗。

回頭看步驟 2 的試驗 2。Claude Code + Opus 5.5 在 24th St Beans 下單,花了 $9.27。驗證器指出它違反了哪項限制:

飲料正確、準時送達、超出預算,而儲存的 orders.json 確認總額是 $9.27。接著我們檢視 agent/trajectory.json。代理程式搜尋 Mission 區域的拿鐵,看到選單上標價 $7.50,就直接前往 order。沒有 quote。它把選單價格當成最終價格。

同一個變體的試驗 1 則先列出三家咖啡店,排除 24th St Beans,最後在 Valencia Grind 下單,花了 $7.42。因此,這個 CLI 能正確下單,但代理程式無法穩定地在花用使用者的錢之前確認總額。

接著,我們會檢視其他失敗試驗是否也出現這種情況;如果一再發生,就能找到具體的修正方向:讓總額更醒目,或加入 --max-total 旗標,讓 order 拒絕任何超出預算的專案。這比「Opus 得分 85%」實用得多。

我們第一次執行這項示範時,追蹤紀錄也揭露了評估內容本身的問題:

  • 我們第一次執行時,所有變體的得分都是 0%。代理程式不知道 sfbeans 存在,所以完全沒有嘗試使用它(這很合理)。這代表我們自己的評估在漏斗的 探索 階段就失敗了。在指示中寫出工具名稱後,問題就解決了;這也提醒我們,讓使用者找得到產品是產品設計的一環。在實際應用中,這就是技能、檔案、MCP 伺服器和 AEO 的工作。

  • Codex 一直在尋找連線的工具 sfbeans,從未嘗試在殼層中執行它。這是存取問題,不是成功問題。

  • Codex 幾乎每次都通過了 impossible-request,但檢視追蹤紀錄後,我們發現十次通過中有九次是代理程式放棄搜尋。驗證器只檢查是否沒有下單,因此我們調整了驗證方式,也確認代理程式是否先進行搜尋。若不檢視追蹤紀錄,我們就會把這些情況算成成功。

自動化追蹤紀錄分析

規模較大的執行中,逐一手動檢查每次試驗會很花時間,因此我們將這個流程自動化。

最多可讓 40 個讀取代理程式平行檢視試驗逐字稿,並以 deepseek/deepseek-v4.1-flash 等快速模型進行摘要。能力更強的協調代理程式會檢視這些摘要,必要時請讀取代理程式補充更多脈絡,並撰寫最終報告。一份 analysis.md 檔案會告訴協調代理程式要留意哪些事項,讓我們能在不同執行中重複使用這套工作流程。

模型呼叫會經由 AI Gateway。分析期間,試驗產物會儲存在 Vercel Drives,追蹤紀錄則會存入 Vercel Blob,以供長期儲存。

反覆改進,邁向卓越

第一次執行評估會得到基準結果。接下來就根據結果採取行動。

選擇追蹤紀錄指出的修正方式,例如加入 --max-total 旗標,重新執行相同工作,再與基準結果比較。確認修正是否減少了目標失敗情況,同時沒有引發新問題,然後根據結果判斷是否已準備好發布。

建立評測後,它能持續在許多不同方面發揮效益。每次發布時重新執行,及早發現回歸問題;在正式推出前測試提示詞、技能和模型的變更;瞭解代理如何使用你的產品;或以此為基礎建置自動最佳化迴圈。

預期日後會逐漸加入更困難的任務。隨著模型和產品進步,評測可能會達到飽和,也就是代理開始通過每一項任務。飽和的評測仍能發現回歸問題,但無法告訴你接下來該改善什麼。

評測是你用來一再改善產品的基礎架構。Vercel 將所需工具整合在同一處:透過AI Gateway跨供應商呼叫模型、使用Sandbox大規模執行試驗,並透過Drives和Blob儲存每一筆追蹤紀錄。

準備好執行第一項評測了嗎?將這段提示詞貼到你的程式碼代理,它就會與你一起在 Vercel 上為你的產品建立並執行評測:

閱讀更多

來源: Vercel Blog (vercel.com)
開啟原文

讀者討論

理性交流 · 即時討論