跳到正文
Browser Use(browser-use.com)· Magnus Müller·· 3 天前精選品質評分79

Browser Use 檢查基準測試後發現,評審曾漏看大半答案

Our Eval Said +5.1. Up to Half of It Was Our Own Bug.

重點導讀

Browser Use 的基準測試分數上升,原本看起來像是 AI 助理變強了,但評審其實只讀到答案的一小部分。

  • 團隊修正 Claude Code 的評測介面後,重新評分 200 項舊測試,發現這個錯誤讓原本的分數多出 1.8 到 2.6 分。
  • AI 助理本身的改動則增加 2.5 分,而且估算區間包含零。作者建議保留每項測試的完整答案與執行紀錄,先用相同資料重評基準組,再比較兩組在相同任務上的差異。
  • 評審出錯的任務應標記為缺少資料,不能當成零分。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這次復查拆開評分上升中代理程式改動與評審漏看答案的影響,也整理出重跑基準測試時可採用的比對方法。

信源出處browser-use.com

Our Eval Said +5.1. Up to Half of It Was Our Own Bug.

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Browser Use (browser-use.com)
開啟原文

讀者討論

理性交流 · 即時討論