Browser Use 說明 AI 助理評測為何高估了 5.1 分
評測分數上升,不一定全是 AI 助理變強;評分器可能根本沒看到完整答案。Browser Use 發現,評分器只讀取「FINAL ANSWER:」標記後的文字,在 200 項任務中有 188 項的主要答案被漏掉。團隊用儲存的舊答案重新評分,估算這個錯誤佔了原本 5.1 分增幅中的 1.8 到 2.6 分。文章也建議儲存每次評測的答案與設定,出錯時重新評分,並用相同任務比較兩組結果,避免把評分器或執行環境的問題算成 AI 助理的表現。
推薦理由:這次重評把評分器漏看答案造成的分數差拆開,也說明如何儲存舊結果,讓評測勝負能回頭檢查。