Browser Use 檢查基準測試後發現,評審曾漏看大半答案
Our Eval Said +5.1. Up to Half of It Was Our Own Bug.
重點導讀
Browser Use 的基準測試分數上升,原本看起來像是 AI 助理變強了,但評審其實只讀到答案的一小部分。
- 團隊修正 Claude Code 的評測介面後,重新評分 200 項舊測試,發現這個錯誤讓原本的分數多出 1.8 到 2.6 分。
- AI 助理本身的改動則增加 2.5 分,而且估算區間包含零。作者建議保留每項測試的完整答案與執行紀錄,先用相同資料重評基準組,再比較兩組在相同任務上的差異。
- 評審出錯的任務應標記為缺少資料,不能當成零分。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
這次復查拆開評分上升中代理程式改動與評審漏看答案的影響,也整理出重跑基準測試時可採用的比對方法。
信源出處browser-use.com
Our Eval Said +5.1. Up to Half of It Was Our Own Bug.
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Browser Use (browser-use.com)
開啟原文