用 Canary token 偵測 LLM 提示詞外洩與資料外送
Canary tokens for LLM apps: detecting system prompt leaks and injected exfiltration
重點導讀
AI 助理可能被使用者或網頁中的惡意文字騙到,說出系統提示詞裡的內容。
- 作者示範在提示詞中放入一段隨機字串,檢查回覆和工具呼叫的引數。
- 如果字串出現,就能在工具執行前攔下這次動作。每個部署、租戶或工作階段使用不同字串,也能幫忙追查是哪裡發生外洩。不過,這種方法只能抓到字串被照抄或簡單編碼的情況,抓不到改寫內容或未提到字串的資料外送,因此它是警報,不能取代許可權控管與其他防護。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Canary tokens for LLM apps: detecting system prompt leaks and injected exfiltration
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文