跳到正文

Terminal-Bench Science · Vals

Vals AI / 科研 · 在終端完成科學工作流與分析。

官方評測
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

70 個專家稽核的科學終端任務,統一 Mini-SWE-agent,由任務驗證器檢查結果。

如何使用這份依據

計分:科學工作流;與 AA 復跑的同一題庫共用一類評測。固定 10 個對照型號至少測到 6 個,才參與計算。

評測局限與數據署名

只取版本 0.1 的 Mini-SWE-agent 成績;Terminus 2 不混入。 缺測留空;回退成績計入並標註,受影響題目過半不計。

數據許可:官方公開結果;公開再展示保留官方署名,完整再分發授權仍以 Vals 條款為準

成績由 Vals AI 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。