跳到正文
熱點事件持續更新

提出 pass^k 作為 Agent 可靠性指標

1 篇報導1 個報導來源9 小時前更新

先了解這件事

重點綜述

AI 助理偶爾能答對,不代表每次都可靠;只看多次嘗試中有一次成功,可能會讓評測結果看起來太好。

  • 作者比較 pass@k 和 pass^k:前者看 k 次裡至少成功一次,後者要求 k 次全部成功。
  • 以每項任務呼叫 50 次工具為例,即使每次呼叫有 99% 成功率,整項任務成功率也約為 60%。
  • 作者也分享自家 AI 營運商店的做法:記錄每一步的輸入、工具呼叫、輸出和成敗,再由不同於產生答案的確定性檢查程式核對紀錄。

根據報導自動生成 · 9 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月22日
  1. Dev.to Top Tech
    pass^k 如何抓出不穩定的 AI 助理,以及 pass@k 為何會誤導

    AI 助理偶爾能答對,不代表每次都可靠;只看多次嘗試中有一次成功,可能會讓評測結果看起來太好。作者比較 pass@k 和 pass^k:前者看 k 次裡至少成功一次,後者要求 k 次全部成功。以每項任務呼叫 50 次工具為例,即使每次呼叫有 99% 成功率,整項任務成功率也約為 60%。作者也分享自家 AI 營運商店的做法:記錄每一步的輸入、工具呼叫、輸出和成敗,再由不同於產生答案的確定性檢查程式核對紀錄。

本事件熱度趨勢

當前熱度 8·可比範圍峰值 10(11月22日 20:00)·近 24 小時可比範圍變化 –

02.557.51011月22日20:0011月22日23:0011月23日02:0011月23日05:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。

讀者討論

針對此事件的各方觀點與即時反饋