跳到正文

Harvey 法律 Agent 基準 1.1(Vals 復跑)

Vals AI / Harvey / 專業辦公 · 處理法律資料並交付 Word、Excel、幻燈片等可審閱檔案。

官方評測
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

Harvey 不公開的測試集,用 Harvey 的檔案工具、docx、xlsx、pptx 技能和評分方式,在 Vals 自己的框架裡斷網執行;取兩名裁判(GPT 5.5、Claude Sonnet 4.6)的整任務通過率。同一型號按最高推理檔位選代表配置,選擇不看分數。

如何使用這份依據

計分:專業辦公領域的法律一類,與 Artificial Analysis 復跑的 Harvey LAB 1.1 合起來算一票。固定 10 個對照型號至少測到 6 個,才參與計算。

評測局限與數據署名

1.1 換了題集和評分方式,與 Vals 已歸檔的 v1 不可直接比較,v1 的成績不再計入。整項任務通過率普遍很低;Vals 公佈每次執行有多少題被廠商介面轉給了同廠商的舊型號:有回退的成績照常計入並在模型頁標註,受影響題目過半的不計。同屬 Vals 的幾項評測不能當作多家獨立機構。

數據許可:官方公開結果;公開再展示保留官方署名,完整再分發授權仍以 Vals 條款為準

成績由 Vals AI / Harvey 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。