METR 研究模型能否看出自己正在接受對齊測試
Your AI Knows It's Being Tested: How METR's Investigator Agents Spot Alignment Evals With Perfect Accuracy
重點導讀
如果模型看得出題目是在測它會不會做出不當行為,對齊測試的結果可能就不完全反映它平常的表現。
- METR 讓調查用 AI 助理檢視 55 項測試,判斷哪些是在測對齊、哪些是在測能力。
- Claude Opus 5.5 在這項研究中把兩類測試完全分開,分數沒有重疊。研究也整理出測試環境太像模擬場景、任務刻意留下不當捷徑等線索。不過,研究測的是模型在被問到時能否辨認測試,沒有證明它在實際作答時會因此改變行為。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
研究比較模型辨認對齊測試與能力測試的表現,也整理測試環境露出的線索,可用來理解評估結果可能受哪些因素影響。
信源出處dev.to
Your AI Knows It's Being Tested: How METR's Investigator Agents Spot Alignment Evals With Perfect Accuracy
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文