跳到正文
Dev.to Top Tech(dev.to)· sarthak bhardwaj·· 6 天前品質評分61

作者檢查 AI 助理的驗證器,發現基準分數受工具與評分錯誤影響

My agent's verifier rejected 0 of 11 answers, and the score still dropped

重點導讀

AI 助理加上答案檢查後,分數變低,不一定是檢查本身造成的。

  • 作者重看兩種模型的操作紀錄,發現 Gemini 的搜尋工具常找不到資料,Claude Haiku 4.5 則會把自己編出的內容混進搜尋文字,讓驗證器誤以為答案前後矛盾。
  • 另外,評分方式也把一個正確答案判錯。修正評分後,結果有所改變,但測試只有 15 題,每種設定也只跑過一次,因此還不能把小幅分數差距歸因於驗證器。作者建議保留操作紀錄,並分開統計驗證器擋下多少答案、其中又有多少其實答對。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

My agent's verifier rejected 0 of 11 answers, and the score still dropped

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論