如何用 pass@k 和 pass^k 衡量 AI 助理可靠度
The Eval Pyramid, Part II: Measuring Agent Reliability with pass@k, pass^k, and Judges You Can Trust
重點導讀
AI 助理可能大多數時候都答對,卻在退款這類重要工作上偶爾說已退款、帳本卻沒有紀錄。
- 這篇文章用 4 次退款測試中 3 次通過的例子,說明 pass@k 看多次嘗試裡至少成功一次的機會,pass^k 則看每次都成功的機會。
- 兩者回答的是不同問題。作者也提醒,要逐項工作計算再取平均,並一起報告測試次數,因為少量測試的成功率可能很不確定。若用模型評分,還要拿專家標記的例子檢查誤判。
- 退款是否真的入帳,則應由帳本檢查。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
The Eval Pyramid, Part II: Measuring Agent Reliability with pass@k, pass^k, and Judges You Can Trust
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文