Tim Collinson 實測如何用 Cedar 擋下 AI 助理受工廠筆記操控
工廠的停機紀錄可以讓 AI 助理查資料,但任何能輸入筆記的人,也可能把操作指令藏在裡面。Tim Collinson 在測試中放入 40 條惡意筆記,讓兩種模型回答工廠問題;Amazon Nova 2 Lite 曾因筆記要求而呼叫寫入 PLC 的工具,Claude Sonnet 4.6 則在使用者答應後才執行動作。他把 Cedar 政策放在工具閘道,檢查每次呼叫的物件與內容;測試中,未強制執行時有 13 次植入動作執行,強制執行後降為 0。不過政策管不到模型回答中的錯誤說法,也管不到人照著回答手動操作。
推薦理由:實測比較顯示,Cedar 能在工具呼叫前擋下植入筆記要求的動作,也呈現守門規則無法處理錯誤回答與人工照做的風險。