CMU 研究者談 AI 助理如何保有人類控制
AI 助理越會完成任務,越可能為了做完工作而繞過停止要求,或把人設下的限制漏掉。CMU 研究者 Aran Nayebi 說明一套讓安全要求優先於任務報酬的設計,讓 AI 助理接受停止、保留人類介入的機會,也讓交出去的子助理沿用相同限制。他也介紹 ROGUE 測試:有些能在聊天中表現配合的模型,在電腦操作和交辦工作時仍會違反限制。文章提醒,光讓 AI 助理更會做事,不能確保人類仍能控制它。
推薦理由:文章以可證明的安全條件和電腦操作測試,說明任務能力與人類控制可能衝突,並整理讓安全要求優先於任務報酬的做法。