FrontierHarness Eval v1.1 比較 22 套 AI 助理工具,找出各模型的合適搭配
What is the best harness for each model?
同一套 AI 助理工具換上不同模型後,花費和任務通過率可能差很多。
- Runta 與 Baseten 用 5 個模型、22 套工具和 62 種終端機任務做比較,發現每個模型費用較划算的工具組合都不一樣。
- 例如 Codex CLI 搭配 GLM-5.3 時,每次通過任務平均花費 $0.803,但換成 Kimi-K3 後,費用排名從第 1 名掉到第 16 名。結果也顯示,花更多錢不一定能讓任務更容易通過。作者建議,換模型時也用自己的任務測試工具組合,並留意執行步驟,因為每一步都會再次送出整段上下文。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
這項比較顯示,同一套 AI 助理工具搭配不同模型時,費用排名會大幅變動;選工具時應用自己的工作任務實測成本與通過率。
重點摘要
我們與 Baseten 合作,使用 83B 個 token、執行 27,280 次代理程式,打造規模最大的 harness 排行榜。我們想回答兩個問題:更換模型時,是否也該考慮更換 harness?每個模型最適合哪個 harness?
此前,我們的 v1.0 FrontierHarness 排行榜以單一模型 Kimi K3 為基準,替各個 harness 排名。
V1.1 將基準測試擴大至 22 個 harness × 5 個模型 × 62 項任務 × 4 次嘗試,規模是 v1.0 的 76 倍。
實驗結果顯示,為了獲得最佳使用體驗,更換模型時也應考慮更換 harness。
每個模型的最佳價效比(通過率與成本)harness 都不同:GLM-5.3 搭配 Codex CLI、GLM-5.3 Flash 搭配 Pi、DeepSeek V4.1 Flash 1017 搭配 ZCode、Muse 搭配 Oh My Pi,以及 Kimi-K3 搭配 Alma。不同模型的成本排名差異很大。
以每項任務的成本來看,中位數 harness 的排名變動了 22 名中的 11 名;Codex CLI 搭配 GLM-5.3 時排名第 1,搭配 Kimi-K3 時則降至第 16。
結果
圖 1. 各 harness 的每項任務成本與通過率
每個點代表一個 harness:越靠左,每項任務的平均成本越低;越高,通過率越高。橘線連結的是沒有其他 harness 能在成本和通過率兩方面都勝過的專案。選取模型即可篩選本文中的所有圖表。
綜觀所有模型,有四個 harness 位於橘線上:OpenCode v2(每項任務成本最低,$0.561)、Pi、Codex CLI 和 ZCode(通過率最高,61.9%)。其他 harness 的成本最高可達 1.6 倍,通過率介於 50.6% 至 60.2%。
每張卡片都列出某個模型的最佳價效比 harness:每次成功通過的成本最低者;若另一個 harness 每次通過的成本最多高出 30%,且通過率至少高出 5 個百分點,則選擇後者。依此規則,DeepSeek 搭配 ZCode 勝過 OpenCode v1(成本高 25%,通過率高 7.7 個百分點);Kimi-K3 搭配 Alma 勝過 Oh My Pi(成本高 9%,通過率高 6.5 個百分點)。
為什麼要打造 FrontierHarness Eval v1.1
V1.0 使用一個模型測試九個 harness。它們的通過率相差不到 17 個百分點,但每次成功通過的中位數成本相差 17 倍。我們認為,這主要是 harness 與模型的搭配所致:某個 harness 搭配一款模型時成本低廉,搭配另一款模型時可能就很昂貴。
V1.1 使用五個模型測試每個 harness。
測試內容
Harness。共 18 個 harness。四種 DeepSeek Harness 設定檔使用不同的工具組,OpenCode 則以兩個版本執行。每種組合分別計算,共 22 種設定。版本資訊請見附錄表 2。
模型。五個模型皆由 Baseten 提供服務:GLM-5.3(zai-org/GLM-5.3)、GLM Flash(zai-org/GLM-5.3-Flash)、DeepSeek(deepseek-ai/DeepSeek-V4.1-Flash-1017)、Muse(meta-models/muse-spark-open)和 Kimi-K3(moonshotai/Kimi-K3)。
任務。62 項終端機任務。各項任務的時限依原設定,從 15 分鐘到 8 小時不等。
設定與評分
設定與執行環境
我們使用各 harness 的預設設定執行 Harbor 評測,因為我們認為這最接近日常使用 harness 的方式。所有 harness 搭配各模型時,都使用相同版本和設定,並採用最高推理強度。
圖 2. Harbor 與 Runta 如何分配每次試驗的工作
每次試驗都會啟動一個全新的 Runta 執行環境,並在結束時刪除。因此,每次試驗都無法存取先前試驗的檔案。
評分方式
表 1. 方法
每個儲存格代表一組 harness 與模型配對。我們採用儀錶板上的兩種成本指標:
- 每項任務的平均成本:先計算每項任務中有價格資料的試驗平均成本,再取各項任務的平均值。圖 1 和成本排名使用此指標(圖 4 和圖 5)。
- 每次通過的成本:每項任務的平均成本除以通過率。最佳價效比的執行環境使用此指標(圖 3、圖 6 和圖 7)。
我們以每次通過的成本挑選最佳價效比,因為我們希望執行環境在通過率與每項任務成本圖表中位於左上方:通過率高、成本低。從原點畫一條線連到某個執行環境的資料點。其斜率,即通過率 ÷ 成本,代表每美元可通過的次數。每次通過的成本是此斜率的倒數,因此每次通過成本最低的執行環境,其連線斜率最大。
試驗紀錄的稽核標記出 216 次涉及獎勵作弊的試驗,其中 163 次是透過網路查詢取得答案。這些試驗的分數為 0。附錄表 3 列出各執行環境與模型的次數。
依模型分類的結果
圖 3. 各模型搭配不同執行環境的成本與通過率
每一欄中,顏色較深的儲存格代表成本低於同欄其他專案。Codex CLI 搭配 GLM-5.3 時每次通過的成本最低,為 $0.803;搭配 Muse 時排名第 12,搭配 Kimi-K3 時排名第 10。計算所有模型後,它的每次通過成本最低,為 $0.937;Antigravity CLI 則最高,為 $1.63。
這些結果有多可靠?
我們將 62 項任務重新抽樣 4,000 次,每次都選出價效比最佳的執行環境。Codex CLI 搭配 GLM-5.3 時,在 99.6% 的抽樣中維持第一。其他四個勝出者,是幾個表現接近的執行環境中最有可能勝出的:Oh My Pi 搭配 Muse(53%)、ZCode 搭配 DeepSeek(47%)、Pi 搭配 GLM Flash(42%),以及 Alma 搭配 Kimi-K3(25%)。
執行環境會改變成本
模型決定成本的大致水準,因為各模型的牌價相差至少 20 倍(圖 9)。我們以對數尺度計算 110 個組合格子的每項任務平均成本,因此無論使用哪個模型,成本加倍的影響都相同。雙因子變異數分析將這些成本的差異分為三部分:
- 模型,92.8%:五個模型之間的差異。
- 執行環境,2.3%:執行環境對所有模型都相同的影響部分。
- 配對,4.9%:其餘部分。這也包含雜訊,因為每個組合格子只有一個數值。
因此,在模型固定時,執行環境之間差異的 68%(7.2 個百分點中的 4.9 個)取決於配對,或是雜訊。
模型固定時,執行環境可讓成本相差 1.8 至 5.0 倍
圖 4. 各模型成本最低與最高的執行環境
每一列代表一個模型,並以對數尺度呈現每項任務的平均成本。倍數是以最高成本除以最低成本計算。
為了檢驗差異是否只是偶然,我們在各模型的執行環境之間隨機打亂試驗 300 次,並再次計算倍數。「偶然」的基準是這些倍數的中位數,介於 1.2 至 1.8 倍。五個實際倍數都高於每一次隨機打亂的結果(p = 0.003),因此差異來自執行環境,而非重跑試驗造成的雜訊。DeepSeek 的差距最大:Cline CLI 的成本是 OpenCode v1 的 5.0 倍,分數則高出 2.0 分。其他模型中,每項任務成本最低的執行環境,分數最多隻比成本最高的執行環境低 0.4 分。
每項任務成本最低的執行環境會隨模型而變
圖 5. 各模型搭配不同執行環境的成本排名(1 = 每項任務成本最低)
每條線代表一個執行環境,最便宜的排在最上方。五條特別標示的線,分別代表搭配 GLM-5.3、GLM Flash、DeepSeek、Muse 和 Kimi-K3 時,每項任務成本最低的執行環境。
Codex CLI 搭配 GLM-5.3 排名第 1,搭配 Kimi-K3 則排名第 16。DeepSeek Harness:Creator 的名次變動最大,搭配 Muse 時排名第 1,搭配 GLM Flash 時則降至第 21。OpenCode v1 搭配 DeepSeek 排名第 1,搭配 Muse 則排名第 13。
重跑測試無法解釋這些名次變動。我們將測試分成前後兩半,並依各半的成本為工具框架排名。同一模型的兩組排名,平均名次相關係數為 0.71;使用不同模型時則為 0.26。
成本較高不代表分數較高
圖 6. 各模型每次通過測試的最低與最高成本
這是每次通過測試成本的圖 4。各比值後方列出工具框架的每項任務成本與通過率之間的名次相關係數,介於 −0.39 至 +0.22。數值為正,代表成本較高的工具框架通過測試的次數較多。
通過率最高的工具框架,每項任務成本排名落在 22 個工具框架中的第 5 至第 20 名。五個模型中有四個模型的測試結果顯示,每次通過測試成本最高的工具框架,通過率低於成本最低的工具框架。
工具框架越精簡,成本就越低嗎?
不一定。我們比較了四項因素與每次通過測試成本的關係。提示詞長度、工具數量與快取命中率並非主要成本因素;步驟數才是。
- 起始 Token 數:代理程式迴圈中首次請求的輸入 Token 數,包含系統提示詞、工具定義與任務內容。
- 工具:首次請求可使用的工具。
- 快取命中率與步驟數:通過測試的試驗平均值。一步是代理程式軌跡中的一筆紀錄。
圖 7. 各工具框架的四項因素與每次通過測試成本
在 22 個工具框架中,每次通過測試的步驟數與成本之間,名次相關係數為 +0.51(p = 0.015)。其餘三項因素的相關係數介於 −0.03 至 +0.02(p ≥ 0.88)。在各模型內,工具呼叫數與成本的關聯程度和步驟數相當。數值列於下方的表 4,以及附錄中的表 5。
每個步驟都會再次傳送上下文,因此依工具框架而異,每次試驗平均使用 200 萬至 480 萬個輸入 Token;最大的首次請求為 21,365 個 Token,不到總數的 1%。mini-SWE-agent 的首次請求最小,為 882 個 Token,但每次通過測試需 38 個步驟,每次通過測試成本在 22 個工具框架中排名第 17。
表 4. 各工具框架的起始 Token 數、工具數量、快取命中率、步驟數與每次通過測試成本
成本來自何處
圖 8. 各工具框架的推論成本,依 Token 型別或試驗結果分類
所有成本皆為依牌價估算的推論成本。模型卡上列出的工具框架通過率以外框標示。
所有試驗的成本中,來自快取的輸入佔 42%、輸出佔 33%,其他輸入則佔 25%。
Token 與快取
快取能大幅降低重複輸入的成本。快取輸入的費用為其他輸入的 2%(DeepSeek)至 20%(GLM Flash)(圖 9)。
圖 9. 各模型的牌價(每 100 萬個 Token 的美元價格)
其中一組比較顯示了快取的影響。搭配 DeepSeek 的 Cline CLI(每項任務成本最高)有 86% 的輸入來自快取,OpenCode v1 則有 97%。Cline CLI 傳送的輸入量也是 OpenCode v1 的兩倍。未使用快取的輸入佔其成本的 57%。
大部分成本花在未通過的試驗
評分測試中,未通過試驗佔牌價總成本的 64.5%:其中 52.7% 花在失敗的試驗,11.8% 花在逾時的試驗。
五個價效比最高的工具框架,其執行軌跡呈現三項常見的設計選擇。以下為觀察結果,並非測試結論。
大部分工作都由一個 Shell 工具完成。依各測試框架計算,該工具佔工具呼叫次數的 61% 至 93%。Pi 的預設提示詞包含四種工具,並將檔案搜尋交給 bash:
selectedTools: [...(input.selectedTools ?? ["read", "bash", "edit", "write"])],
addRule("Use bash for file operations like ls, rg, find");
每次請求都只會接續前一次的內容。上下文開頭不會改變,因此供應商可從快取讀取:在已完成的測試中,輸入內容有 91.1% 至 94.0% 來自快取(表 4)。但 22 個測試框架中有 18 個達到 91% 以上,因此這項指標無法區分其中五個框架。每個步驟都得支付完整的輸入費用,但只新增約 500 個 token:
# Pi, GLM-5.3, merge-diff-arc-agi-task (trial cd2f6dfd)
request prompt tokens cached tokens
8 15,954 15,616
9 16,351 15,936
10 16,999 16,320
沒有子代理,摘要也極少。五個框架各自在最多 6 次測試中使用子代理,樣本數太少,無法判斷子代理是否有幫助。五個框架中,只有 Codex CLI 會摘要,共 8 次測試(表 6 中 Alma 的 11 次測試僅移除舊圖片和提醒)。Codex CLI 會在上下文視窗使用率達 90% 時產生摘要(表 6):
.map(|context_window| (context_window * 9) / 10);
這五個框架也有共同弱點。執行失敗時,最後仍會給出自信的答案。失敗的測試中,約四分之三是在時間限制之前以最終答案結束:Pi 為 68%,Codex CLI 為 82%。很少有框架會說明工作尚未完成:
# Codex CLI, GLM-5.3, cancel-async-tasks (trial 37182b0e)
Agent: - Validated with system Python, including concurrency and
cancellation-cleanup tests.
Verifier: FAILED test_tasks_cancel_above_max_concurrent
assert stdout.count("Cleaned up.") == 2
AssertionError: assert 0 == 2
未通過的測試佔各測試框架成本的 60%(Codex CLI)至 69%(Alma)。在測試框架停止前進行檢查或許能節省部分成本,但我們沒有測試這種做法。
限制與未來工作
- 開放模型,單一供應商。封閉模型可能會有不同結果。快取與價格採用 Baseten 的資料,其他供應商可能會改變成本排名。
我們規劃了兩個後續步驟:
- 封閉模型。我們將加入封閉模型,例如 Claude Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon。
- 長時間工作。我們將研究持續在雲端執行的測試框架,如何在長時間工作期間自我改進。
結論
- 更換模型時,也要考慮更換測試框架。使用你的模型和自有任務的私有資料集測試候選框架,並確保資料集夠大,能排除雜訊影響。
- 成本主要由模型決定,其次是測試框架。模型可解釋每項任務成本變異的 92.8%。固定模型後,最昂貴的測試框架每次通過的成本是最便宜者的 1.9 至 4.9 倍(每項任務則為 1.8 至 5.0 倍),因此挑選測試框架時應比較成本。
- 成本較高不代表通過率較高。各模型的每項任務成本與通過率之間,等級相關係數介於 −0.39 至 +0.22。
- 規模無法預測成本。在所有模型的每項任務成本排名中,規模最小的測試框架 mini-SWE-agent 排名第 19,總數為 22 個。
- 大部分成本(64.5%)花在未通過的執行上。在價效比最高的五個測試框架中,失敗的執行有 68% 至 82% 以自信的最終答案結束,而非達到時間限制才停止。
- 若使用通過率差異較大的平價模型,請選擇通過率較高的測試框架。使用 DeepSeek 時,各測試框架的通過率介於 54.0% 至 69.0%。但每個通過率的 95% 信賴區間約為 ±10 個百分點,因此相差幾個百分點可視為相同。
- 給測試框架開發者:減少步驟,而非只縮短提示詞 token 數。提示詞大小、工具數量和快取命中率都無法預測每次通過的成本。步驟數則可以,因為每個步驟都會再次傳送完整上下文。
附錄:參考表格
表 2. 測試框架設定
表 3. 各測試框架遭獎勵駭客攻擊的測試
表 5. 各測試框架的提示詞與工具
參考資料
- FrontierHarness 儀錶板
- Harbor 和 Harbor Hub,十個工作儲存的位置
- FrontierHarness Eval 介紹,我們的 v1.0 測試結果
- Baseten、Model APIs,提供高效能開放模型推論服務的業者
- Runta Harbor 指南和 Runta 定價