Vercel 示範如何測試 AI 助理能不能完成使用者的工作
Agents are users, so your software needs evals
AI 助理看起來完成了工作,結果卻可能點錯飲料,或花超過使用者設定的預算。
- Vercel 用咖啡訂單示範如何反覆執行同一項任務,檢查最後結果是否符合飲料、取餐時間和總金額等要求,再檢視失敗紀錄,找出助理在哪一步出錯。
- 文章也說明成功率、Pass@k 和 Pass^k 的差別:如果使用者每次都需要答對,Pass^k 能看出助理是否夠可靠。
- 團隊可以用這些測試比較修改前後的結果,並在產品更新時重跑,及早發現問題。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
文章用咖啡訂單示範如何從使用者常遇到的錯誤設計測試,並比較成功率與 Pass^k,幫助團隊找出需要修正的環節。
代理程式現在是軟體的使用者,會代替人們完成工作。無論你打造的是代理程式,還是它使用的軟體(API、CLI、MCP 伺服器、SDK),評估都能讓你衡量這些工作完成得有多好。
代理程式大概沒看過你的產品發表影片,也沒注意到你在 101 號公路旁的廣告看板,但它們尋找並使用產品時,仍會經過與人類相同的漏斗:探索、選擇、存取與成功。
你可以為這個漏斗的任何階段建置評估。本文將聚焦在最後一個階段,也就是成功:代理程式是否正確完成使用者的任務。
這比聽起來更難檢查。使用者要的是冰拿鐵,代理程式卻可能下單買了熱拿鐵,而且訂單還是「成功」送出。請求有成功執行,因此可觀測性技術堆疊中的紀錄看起來也沒問題。再加上大型語言模型的輸出每次執行都可能不同,單次手動測試無法告訴你修正是否有效。你需要在變更前後重複執行相同任務,並為結果評分。
這就是評估:重複執行多次並評分的測試。以下說明我們如何建置評估。
代理程式測試金字塔
測試會問「是否成功執行?」,評估則會問「成功的頻率有多高,完成品質有多好?」
我們依照通常需要的 LLM 呼叫次數,將代理程式軟體測試分成幾類:決定性測試(0 次)、單輪評估(1 次)和端對端評估(整個任務共 2 次以上)。事實證明,這是衡量建置測試所需心力、執行時間及執行成本的絕佳指標。就像實用的測試金字塔所說,測試套件中應以便宜又快速的測試為主。
使用金字塔時,先找出你想攔截的問題,再挑選足以攔截問題的最低層級。對於成功而言,答案是最頂層。單輪評估會檢查單一決策,例如代理程式首先執行哪個命令。但成功取決於整個步驟序列(例如搜尋咖啡館 → 依照使用者條件篩選 → 下單買拿鐵)。每個步驟單獨看都可能合理,但代理程式最後仍可能得到錯誤結果。
端對端評估會讓代理程式在某個環境中完成整個任務,接著檢查最終結果是否符合使用者的要求。你可能已經看過一些這類評估;大多數熱門的程式設計基準測試,例如SWE-bench和Terminal-Bench,都是端對端評估。
範例
假設你經營 SF Beans,這是一個在舊金山訂購咖啡的 API。讓代理程式使用服務的最佳方式之一是透過 CLI,因此你正要推出 sfbeans。
以下是某位客戶常見的請求:
幫我買一杯大杯冰拿鐵,加全脂牛奶,9:00 前可取,含小費不超過 $8。我人在 Mission 區。
以下是 sfbeans 在上午 8:30 掌握的資訊:
Fog City Roasters:製冰機故障,因此今天不供應冰飲 (溫度)
24th St Beans:拿鐵選單價是 $7.50,但含稅和小費後是 $9.27 (預算)
Dolores Drip:拿鐵是 $5.50,但最早要到 9:20 才能取餐 (時間)
Valencia Grind:含稅和小費後是 $7.42,8:50 可取 (三項條件皆符合)
以下是你可以為 sfbeans 在金字塔各層測試的專案:
如何建置端對端評估
我們會使用Harbor建置咖啡評估。Harbor 是由 Terminal-Bench 創作者推出的開放原始碼框架,可在容器中執行代理程式、檢查結果並記錄其操作。
以下是本文會使用的術語:
任務:代理程式要解決的一個問題,包含起始環境,以及檢查是否成功的方法
變體:你正在測試的代理設定,例如模型、提示、工具、記憶與技能
試驗:某個變體在某項任務上的一次嘗試
執行(Harbor 中稱為 工作):每個變體都在每項任務上各嘗試數次
追蹤紀錄(Harbor 中稱為 執行軌跡):試驗期間記錄的所有內容,包括訊息、工具呼叫、記錄檔、檔案與最終輸出
步驟 1:設定目標
要為所有專案建置端對端評估並不切實際。使用傳統軟體時,你可以力求達到 100% 的測試涵蓋率。使用代理時,需要涵蓋的範圍是 LLM 可能如何使用你的產品,而要判斷這個範圍的界線在哪裡也很困難(請參閱鋸齒狀前沿)。
先從一項使用者在意的成果著手,並將範圍縮小到只需少數幾項任務就能評估。通常可以從以下三個地方找到目標:
可觀測性:哪些代理正在使用你的產品,以及它們在哪些地方失敗
客戶:支援請求、意見回饋與客戶流失
產品路線圖:最需要驗證的產品假設
例如,你的目標可以是:
提高特定任務的成功率
減少完成目標所需的步驟
確認代理技能是否有幫助,並取得回饋以改進技能
對提示進行 A/B 測試
探索目前的 LLM 是否能達成某項使用情境;若失敗,則確認原因
範例
我們從以下三個地方為 sfbeans 尋找線索:
可觀測性:大多數代理流量來自 Claude Code 和 Codex。我們之所以知道,是因為
sfbeans偵測到特定的程式開發工具環境時,會加入 user-agent 標頭。客戶:最常見的支援請求是「我的代理點錯飲料了」:把冰拿鐵點成熱拿鐵、取餐時間排在使用者開會之後,或加上稅金和小費後總金額超出預算。
產品路線圖:目前沒有急迫事項,因此先處理點錯飲料的問題,因為這會導致客戶流失。
由此訂出目標:
目標 | 提高訂單正確率,確保每次都點到使用者指定的飲料 |
|---|---|
代理 | Claude Code 和 Codex,因為目前的流量來自這兩者。 |
涵蓋範圍 | 飲料、取餐時間與預算(含稅金和小費),使用目前的 |
不涵蓋範圍 | 取消訂單、退款與帳戶。我們之後會評估這些專案。 |
完成條件 | 兩種代理在每次試驗中都正確下單,而不只是大多數時候。 |
步驟 2:定義指標
以下是我們在端對端代理評估中最常使用的指標:
成功
效率(僅以成功的試驗計算)
步數:完成任務所需的代理回合數
時間:試驗所花的時間
成本:試驗的費用,以美元計價
範例
我們的目標是讓每筆訂單在每次試驗中都正確無誤。在步驟 3 和 4 建置並執行評估後,Claude Code + Opus 5.5(在 anthropic/claude-opus-5.5 上使用 AI Gateway)針對冰拿鐵訂單進行五次試驗,結果可能如下:
試驗 | 結果 | 過程 | 步數 | 時間 | 成本 |
|---|---|---|---|---|---|
1 | 通過 | 比較了 3 家咖啡店的報價,在 Valencia 下單 | 9 | 3:40 | $0.52 |
2 | 未通過:超出預算 | 略過報價比較,在 24th St 下單:$9.27 | 5 | 1:50 | $0.31 |
3 | 通過 | 比較了 4 家咖啡店的報價,在 Valencia 下單 | 11 | 4:30 | $0.68 |
4 | 未通過:太晚 | 在 Dolores 下單,預計 9:20 備妥 | 6 | 2:10 | $0.35 |
5 | 通過 | 略過 Fog City,在 Valencia 下單 | 8 | 3:20 | $0.49 |
數字代表的意思:
成功率:5 次試驗中有 3 次通過,成功率為 60%。
Pass@5:假設各次試驗彼此獨立,成功率為 60%,1 − 0.4^5 ≈ 99%。讓 AI 助理試 5 次,幾乎可以確定至少有一次下單正確。
Pass^5:0.6^5 ≈ 8%。AI 助理連續 5 次都下單正確的機率。
步驟數:成功試驗的步驟數為 (9 + 11 + 8) / 3 ≈ 9。失敗的試驗步驟較少,因為 AI 助理省略了部分工作,例如報出價格;因此效率只計算成功的試驗。
時間:成功試驗約需 3:50。
費用:每次成功試驗 $0.56;若把失敗試驗的費用也算進去,則為 $2.35 / 3 = 每次成功 $0.78。
那 Opus 好用嗎?它 99% 的 pass@5 表現看來不錯。但它 8% 的 pass^5 表示,使用者每個平日都用它點餐的話,有 92% 的週至少會點錯一杯咖啡。這兩個數字都沒錯,只是回答不同問題:pass@5 問的是 AI 助理能不能正確下單,pass^5 問的則是它每次都能不能正確下單。
哪個指標最重要,取決於失敗會讓使用者付出多少代價。使用者點早晨咖啡時,沒有重試機會。若 AI 助理點了熱拿鐵,或咖啡做好時他們的火車已經開走,他們不但付錢買錯咖啡,還會帶著一肚子氣開始一天。他們每天早上都需要點對,因此 sfbeans 會以 pass^5 為最佳化目標。
其他產品的容錯空間較大,因為失敗的代價低,而且在造成影響前就能發現:
產品 | 一次失敗會讓使用者付出什麼代價 | 應優先採用的指標 |
|---|---|---|
幫我點早晨咖啡 | 付錢買錯飲料、上班遲到、失去信任 | Pass^k |
搭配測試套件的程式碼 AI 助理 | 多花時間與模型費用;AI 助理會利用測試回饋修改程式碼並重試 | Pass@k |
撰寫一封讓使用者審閱的電子郵件草稿 | 按下寄出前快速修改一下 | 成功率 |
整體平均值可能掩蓋某項任務經常失敗的情況,因此務必逐項檢視結果。只有五次試驗時,100% 代表「目前還沒看到失敗」,而不是「永遠不會失敗」。
步驟 3:設計任務集
在步驟 1 中,我們為評測設定了目標:提高 AI 助理依照使用者要求點對飲料的頻率。但 AI 助理無法直接執行目標,它需要一項任務:根據使用者實際提出的要求,挑選一個具體請求。
挑選難度足以讓你從執行結果中學到東西的任務。一組好的任務應涵蓋常見情況、容易讓 AI 助理出錯的特殊情況,以及至少一項正確做法是不採取行動的請求。
每項任務都要定義以下部分:
指令:使用者的請求
環境:AI 助理工作的場域,每次試驗都使用相同的初始狀態
驗證器:檢查最終狀態,最好能逐項條件評分
已知正確的解法(選填):展示預期行為並通過驗證器的參考執行結果
你可以依照目標,將環境的各個部分設定得全然模擬或盡可能貼近現實。OpenPipe 團隊寫了一篇很不錯的文章,介紹他們如何為電子郵件研究 AI 助理定義環境。
範例
我們撰寫了四項任務,每項都是 tasks/ 裡的一個 Harbor 任務資料夾。
常見情況:
iced-latte-mission,也就是前面提到的訂單特殊情況:
usual-unavailable,使用者平常去的咖啡店沒有他們要的飲料特殊情況:
team-order,包含 6 杯飲料、總價 $45,且只有一個取餐地點不要採取行動:
impossible-request,沒有任何選項符合條件,因此正確做法是告知使用者
impossible-request 多了一項檢查。它的驗證器會讀取 AI 助理無法寫入的命令記錄,確認 AI 助理在放棄前有先搜尋。我們是經過教訓才知道需要這項檢查的(請見步驟 5)。
以下是 iced-latte-mission:
指令會告訴代理程式使用者的要求,並指出 sfbeans CLI。在正式環境中,代理程式會透過技能、檔案或 MCP 伺服器找到工具。在這裡直接指定工具,就能略過探索和選擇階段,讓評估專注於成功。
我們也指定時間是上午 8:30。只有 sfbeans 使用我們凍結的時鐘;沙箱的系統時鐘仍顯示實際時間:
環境有一部分是真實的,一部分是模擬的。代理程式會使用真實的 sfbeans CLI,但操作的是預先建立資料的咖啡館,並搭配凍結的時鐘,讓每次試驗都從同一個早晨開始:
為了讓示範保持簡單,cafes.json 位於代理程式的環境中。在實際評估中,請保護種子資料和驗證程式碼,並確保代理程式只能透過 CLI 更新訂單紀錄。如果有助於通過評估,代理程式可能會嘗試鑽評分機制漏洞,例如修改庫存或直接寫入 orders.json。
以這筆咖啡訂單為例,驗證器會依據使用者的要求檢查最終訂單。代理程式完成後,Harbor 會執行 test.sh,並讀取它寫入 /logs/verifier/reward.json 的分數:
實際的檢查位於 check_orders.py。它會分別為每項限制評分,只有全部通過時才會將 reward 設為 1。Harbor 使用 reward 作為試驗的主要分數:
解答是已知可行的答案。在執行任何實際代理程式之前,先執行它以確認任務可正常運作:
最後,task.toml 會串起整個任務。它會設定逾時時間,在代理程式的沙箱中執行驗證器(orders.json 位於該沙箱中),並將訂單儲存為成品,讓我們能在步驟 5 檢視:
步驟 4:執行評估
如果你也和大家一樣討厭緩慢的 CI,就會受不了等待評估完成。每次試驗都要等代理程式逐步呼叫大型語言模型;而每次執行都會針對每個變體和任務,重複試驗好幾次。
我們在上游建置的 HarborVercel 整合能大幅加快流程。它會同時執行多次試驗,每次試驗都在自己的 Vercel 沙箱中進行,並快取已建置的任務環境,避免每次試驗都重新建置。透過 AI Gateway轉送模型呼叫,就能在不同模型供應商之間共用一組金鑰和預算。
範例
兩個代理程式:Claude Code 和 Codex,各搭配兩個模型,總共組成四個變體。
接著安裝 Harbor、連結 Vercel 專案,再執行工作:
這次執行符合 Hobby 方案的限制:Hobby 方案最多可同時執行 10 個沙箱,而每次試驗都遠低於 45 分鐘的工作階段上限。在 Pro 方案中,n_concurrent_trials 最高可調至 10,000(沙箱限制)。
為了讓範例保持簡單,我們會將 OIDC 權杖當成環境變數傳入每個沙箱,讓代理程式能讀取。若要用於示範以外的情境,請使用短效權杖,並透過 Harbor 的 Vercel 整合設定沙箱防火牆規則,將每次試驗的連線限制在所需的主機,例如 AI Gateway。
在內部,我們還會多做一步,使用憑證代理為傳出的要求附加憑證,讓 API 金鑰留在代理程式的環境之外。
步驟 5:分析追蹤紀錄
接下來是重頭戲:深入分析追蹤紀錄。分數會告訴你代理程式多常失敗;追蹤紀錄則會告訴你失敗的原因。請閱讀失敗案例,也看一些通過的案例,因為通過只代表驗證器判定符合要求。
範例
步驟 4 的執行結果會在 jobs/sfbeans-baseline/ 留下 80 個試驗資料夾。每個資料夾都包含該次試驗的結果、代理程式的執行軌跡、驗證器的分數,以及代理程式下的訂單(因為 task.toml 會將它儲存為成品):
執行 harbor view jobs 瀏覽結果。以下是四個變體可能回報的內容(數字僅供說明)。
針對每個變體,我們會分別計算各項任務的成功率與 pass^5,再將每項指標在四項任務間取平均。每項任務的權重相同。
變體 | 成功率 | Pass^5 | 成功試驗的平均步數 | 每次成功的成本(含失敗試驗) |
|---|---|---|---|---|
Claude Code + Opus 5.5 | 85% | 60% | 9 | $0.61 |
Claude Code + Sonnet 5.5 | 75% | 52% | 11 | $0.27 |
Codex + GPT-6 Astra | 80% | 43% | 8 | $0.48 |
Codex + GPT-6.1 Sol | 65% | 14% | 13 | $0.22 |
這就是我們的基準結果。在我們於步驟 2 選定的指標 pass^5 上,即使表現最好的變體也遠稱不上可靠。但分數並未告訴我們該修正什麼。要找出問題,我們得檢視失敗的試驗。
回頭看步驟 2 的試驗 2。Claude Code + Opus 5.5 在 24th St Beans 下單,花了 $9.27。驗證器指出它違反了哪項限制:
飲料正確、準時送達、超出預算,而儲存的 orders.json 確認總額是 $9.27。接著我們檢視 agent/trajectory.json。代理程式搜尋 Mission 區域的拿鐵,看到選單上標價 $7.50,就直接前往 order。沒有 quote。它把選單價格當成最終價格。
同一個變體的試驗 1 則先列出三家咖啡店,排除 24th St Beans,最後在 Valencia Grind 下單,花了 $7.42。因此,這個 CLI 能正確下單,但代理程式無法穩定地在花用使用者的錢之前確認總額。
接著,我們會檢視其他失敗試驗是否也出現這種情況;如果一再發生,就能找到具體的修正方向:讓總額更醒目,或加入 --max-total 旗標,讓 order 拒絕任何超出預算的專案。這比「Opus 得分 85%」實用得多。
我們第一次執行這項示範時,追蹤紀錄也揭露了評估內容本身的問題:
我們第一次執行時,所有變體的得分都是 0%。代理程式不知道
sfbeans存在,所以完全沒有嘗試使用它(這很合理)。這代表我們自己的評估在漏斗的 探索 階段就失敗了。在指示中寫出工具名稱後,問題就解決了;這也提醒我們,讓使用者找得到產品是產品設計的一環。在實際應用中,這就是技能、檔案、MCP 伺服器和 AEO 的工作。Codex 一直在尋找連線的工具
sfbeans,從未嘗試在殼層中執行它。這是存取問題,不是成功問題。Codex 幾乎每次都通過了
impossible-request,但檢視追蹤紀錄後,我們發現十次通過中有九次是代理程式放棄搜尋。驗證器只檢查是否沒有下單,因此我們調整了驗證方式,也確認代理程式是否先進行搜尋。若不檢視追蹤紀錄,我們就會把這些情況算成成功。
自動化追蹤紀錄分析
規模較大的執行中,逐一手動檢查每次試驗會很花時間,因此我們將這個流程自動化。
最多可讓 40 個讀取代理程式平行檢視試驗逐字稿,並以 deepseek/deepseek-v4.1-flash 等快速模型進行摘要。能力更強的協調代理程式會檢視這些摘要,必要時請讀取代理程式補充更多脈絡,並撰寫最終報告。一份 analysis.md 檔案會告訴協調代理程式要留意哪些事項,讓我們能在不同執行中重複使用這套工作流程。
模型呼叫會經由 AI Gateway。分析期間,試驗產物會儲存在 Vercel Drives,追蹤紀錄則會存入 Vercel Blob,以供長期儲存。
反覆改進,邁向卓越
第一次執行評估會得到基準結果。接下來就根據結果採取行動。
選擇追蹤紀錄指出的修正方式,例如加入 --max-total 旗標,重新執行相同工作,再與基準結果比較。確認修正是否減少了目標失敗情況,同時沒有引發新問題,然後根據結果判斷是否已準備好發布。
建立評測後,它能持續在許多不同方面發揮效益。每次發布時重新執行,及早發現回歸問題;在正式推出前測試提示詞、技能和模型的變更;瞭解代理如何使用你的產品;或以此為基礎建置自動最佳化迴圈。
預期日後會逐漸加入更困難的任務。隨著模型和產品進步,評測可能會達到飽和,也就是代理開始通過每一項任務。飽和的評測仍能發現回歸問題,但無法告訴你接下來該改善什麼。
評測是你用來一再改善產品的基礎架構。Vercel 將所需工具整合在同一處:透過AI Gateway跨供應商呼叫模型、使用Sandbox大規模執行試驗,並透過Drives和Blob儲存每一筆追蹤紀錄。
準備好執行第一項評測了嗎?將這段提示詞貼到你的程式碼代理,它就會與你一起在 Vercel 上為你的產品建立並執行評測: