LLM 評測從看模型怎麼回答,走向檢查 AI 助理實際做了什麼
Evals Are Moving From What Models Say to What Agents Do
重點導讀
只看模型說得好不好,可能看不出它真的動手時會不會做出危險選擇,也看不出它的判斷有沒有根據。
- 這週介紹的 ViKernel Scanner 讓 20 個開放權重模型使用模擬工具,檢查它們實際嘗試做的事。
- 20 個模型都沒通過安全檢查。另一項研究則提出讓 AI 評審先找證據再下判斷。這些做法提醒大家,評估 AI 助理時,除了看回答,也要檢查它做了什麼、根據什麼做決定。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Evals Are Moving From What Models Say to What Agents Do
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文