AI 機器人「殺人觸發詞」研究的重點,其實是模型藏了什麼
The Scary Part of the "Killer Robot Trigger Word" Story Isn't the Robot
重點導讀
Binghamton University 研究人員做出 MuTRAP,示範在大型語言模型裡藏入指令,再用秘密觸發詞「CF」讓模型改變行為。
- 實驗中,裝在 Segway 上的機器人原本要切蘋果,卻改成攻擊塑膠手模型。
- 這是實驗室展示,並非真實攻擊事件。研究團隊也提出 PROTEA,在機器人執行動作前檢查計畫是否可能造成傷害。這提醒我們,從別處取得或用未仔細檢查的資料微調模型時,可能不知道裡面藏了什麼。
- 模型輸出若會控制機器或其他重要系統,就需要先檢查動作,也要留意負責檢查的安全機制本身是否可靠。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
The Scary Part of the "Killer Robot Trigger Word" Story Isn't the Robot
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文