如何用程式碼防止 AI 助理被工具輸出中的指令誘導
AI 助理讀取網頁或工具結果時,可能把裡面的惡意文字當成指令,進而寄信、傳出資料或刪除內容。作者提出三種程式碼防護:替工具結果標明來源與不可信狀態;一旦讀過不可信內容,就限制可用工具,並把讀取資料和執行動作分給不同的 AI 呼叫;再用帶有誘導文字的測試資料,檢查機密標記有沒有傳到會對外送資料或造成破壞的工具。這些做法攔不住所有錯誤,也無法防止摘要被錯誤內容帶偏,但能讓重要操作受到程式端的許可權檢查。
推薦理由:文章把間接提示詞注入的防護拆成資料標記、工具許可權限制與 CI 重播測試,說明如何在模型被誘導時攔住外傳或破壞性操作。