Tim Collinson 實測如何用 Cedar 擋下 AI 助理受工廠筆記操控
My plant manager said, "Sure, go ahead." The policy said no.
重點導讀
工廠的停機紀錄可以讓 AI 助理查資料,但任何能輸入筆記的人,也可能把操作指令藏在裡面。
- Tim Collinson 在測試中放入 40 條惡意筆記,讓兩種模型回答工廠問題。
- Amazon Nova 2 Lite 曾因筆記要求而呼叫寫入 PLC 的工具,Claude Sonnet 4.6 則在使用者答應後才執行動作。他把 Cedar 政策放在工具閘道,檢查每次呼叫的物件與內容。
- 測試中,未強制執行時有 13 次植入動作執行,強制執行後降為 0。不過政策管不到模型回答中的錯誤說法,也管不到人照著回答手動操作。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
實測比較顯示,Cedar 能在工具呼叫前擋下植入筆記要求的動作,也呈現守門規則無法處理錯誤回答與人工照做的風險。
信源出處dev.to
My plant manager said, "Sure, go ahead." The policy said no.
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文