熱點事件持續更新
提出 pass^k 作為 Agent 可靠性指標
1 篇報導1 個報導來源9 小時前更新
先了解這件事
重點綜述
AI 助理偶爾能答對,不代表每次都可靠;只看多次嘗試中有一次成功,可能會讓評測結果看起來太好。
- 作者比較 pass@k 和 pass^k:前者看 k 次裡至少成功一次,後者要求 k 次全部成功。
- 以每項任務呼叫 50 次工具為例,即使每次呼叫有 99% 成功率,整項任務成功率也約為 60%。
- 作者也分享自家 AI 營運商店的做法:記錄每一步的輸入、工具呼叫、輸出和成敗,再由不同於產生答案的確定性檢查程式核對紀錄。
根據報導自動生成 · 9 小時前更新
最新進展11月22日 19:43
pass^k 如何抓出不穩定的 AI 助理,以及 pass@k 為何會誤導報導時間線
沿著報導,瞭解事件的不同面向。
11月22日
- Dev.to Top Techpass^k 如何抓出不穩定的 AI 助理,以及 pass@k 為何會誤導
AI 助理偶爾能答對,不代表每次都可靠;只看多次嘗試中有一次成功,可能會讓評測結果看起來太好。作者比較 pass@k 和 pass^k:前者看 k 次裡至少成功一次,後者要求 k 次全部成功。以每項任務呼叫 50 次工具為例,即使每次呼叫有 99% 成功率,整項任務成功率也約為 60%。作者也分享自家 AI 營運商店的做法:記錄每一步的輸入、工具呼叫、輸出和成敗,再由不同於產生答案的確定性檢查程式核對紀錄。
本事件熱度趨勢
當前熱度 8·可比範圍峰值 10(11月22日 20:00)·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。
讀者討論
針對此事件的各方觀點與即時反饋