跳到正文
Dev.to Top Tech(dev.to)· Alex·· 4 天前品質評分70

WARDEN 如何替 OpenWebUI 擋下提示詞注入造成的危險工具呼叫

An attached file told the model to delete all customers. In OpenWebUI, it tried

重點導讀

聊天裡的附件或網頁可能藏著指令,誘使 AI 助理刪除資料或把秘密傳出去。

  • 作者在 OpenWebUI 加上 WARDEN 閘道,先檢查工具呼叫再決定是否放行。
  • 測試中,Qwen 3.8 27B 和 MiniMax M3 都曾想照附件指令刪除資料,但閘道擋下了呼叫,資料沒有送到工具伺服器。WARDEN 也能先用稽核模式記錄哪些呼叫會被擋,讓管理者觀察後再調整規則。不過,網頁搜尋後模型想繼續查資料時,也可能被誤擋。
  • 而未經閘道的工具呼叫和模型最後寫出的回答不在檢查範圍內。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

An attached file told the model to delete all customers. In OpenWebUI, it tried

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論