作者用 WhatsApp 助理測試提示注入,說明許可權檢查為何重要
Prompt injection is a permissions problem
重點導讀
聊天裡有人放入指令,可能讓 AI 助理替帳號主人發話,甚至洩漏私人資料。
- 作者發現自己的 WhatsApp 助理會替任何群組成員執行指令,於是比較只靠提示詞防護,以及在程式裡限制誰能下指令、模型能看見哪些資料和回覆送到哪裡。這組自製測試中,提示詞防護有時能擋住攻擊,但仍會回答陌生人的指令。
- 許可權設定則拒絕陌生人的指令,並把回覆留在主人的私人聊天室。測試只有一個模型、少量自製案例,而且許可權設定一次改了三項,因此不能看出各項措施分別有多少效果。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
這組測試呈現提示詞防護與程式許可權檢查的差別,也提醒輸出送到哪裡、模型看得到哪些資料,都會影響風險。
信源出處dev.to
Prompt injection is a permissions problem
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文