跳到正文
Dev.to Top Tech(dev.to)· Ali Ahmed·· 3 天前品質評分72

用 Canary token 偵測 LLM 提示詞外洩與資料外送

Canary tokens for LLM apps: detecting system prompt leaks and injected exfiltration

重點導讀

AI 助理可能被使用者或網頁中的惡意文字騙到,說出系統提示詞裡的內容。

  • 作者示範在提示詞中放入一段隨機字串,檢查回覆和工具呼叫的引數。
  • 如果字串出現,就能在工具執行前攔下這次動作。每個部署、租戶或工作階段使用不同字串,也能幫忙追查是哪裡發生外洩。不過,這種方法只能抓到字串被照抄或簡單編碼的情況,抓不到改寫內容或未提到字串的資料外送,因此它是警報,不能取代許可權控管與其他防護。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Canary tokens for LLM apps: detecting system prompt leaks and injected exfiltration

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論