跳到正文

Harvey 法律 Agent 基準 1.1(Artificial Analysis 復跑)

Artificial Analysis / 專業辦公 · 讀案卷,交付法律備忘錄、披露清單、證詞摘要、修訂稿等文書。

官方評測
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

Harvey 不公開的 120 道題,覆蓋 24 個執業領域;統一 Stirrup 工具流程,斷網;三名模型裁判逐條核對,交付物裡有實質性捏造的整題記零,取三人整題通過的比例。同一型號按最高推理檔位選代表配置,選擇不看分數。

如何使用這份依據

計分:法律;與 Vals 復跑的 Harvey LAB 1.1 共用一類評測。固定 10 個對照型號至少測到 6 個,才參與計算。

評測局限與數據署名

整題通過率很低,多數型號落在低分截尾段;能看圖的模型可以開啟沙箱裡的圖片檔案。 缺測留空;回退成績計入並標註,受影響題目過半不計。

數據許可:Artificial Analysis 公開頁面資料;展示須顯著署名並連結來源,遵守其 Terms of Use

成績由 Artificial Analysis 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。