作者檢查 AI 助理的驗證器,發現基準分數受工具與評分錯誤影響
My agent's verifier rejected 0 of 11 answers, and the score still dropped
重點導讀
AI 助理加上答案檢查後,分數變低,不一定是檢查本身造成的。
- 作者重看兩種模型的操作紀錄,發現 Gemini 的搜尋工具常找不到資料,Claude Haiku 4.5 則會把自己編出的內容混進搜尋文字,讓驗證器誤以為答案前後矛盾。
- 另外,評分方式也把一個正確答案判錯。修正評分後,結果有所改變,但測試只有 15 題,每種設定也只跑過一次,因此還不能把小幅分數差距歸因於驗證器。作者建議保留操作紀錄,並分開統計驗證器擋下多少答案、其中又有多少其實答對。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
My agent's verifier rejected 0 of 11 answers, and the score still dropped
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文