跳到正文

Terminal-Bench 4.0(Vals AI 復跑)

Vals AI / 程式設計 · Vals 用同一套 Agent 流程給所有模型復跑 Terminal-Bench 4.0。

官方評測
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

取 Vals 專項頁 Overall 通過率。同一型號按最高推理檔位選代表配置,選擇不看分數。

如何使用這份依據

計分:程式設計領域,與 AA 復跑的 Terminal-Bench 4.0 同屬一類,兩家合起來算一票。

評測局限與數據署名

Vals 公佈每次執行有多少題被廠商介面轉給了同廠商的舊型號:有回退的成績照常計入並在模型頁標註,受影響題目過半的不計。同屬 Vals 的幾項評測不能當作多家獨立機構。

數據許可:官方公開結果;公開再展示保留官方署名,完整再分發授權仍以 Vals 條款為準

成績由 Vals AI 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。