WARDEN 如何替 OpenWebUI 擋下提示詞注入造成的危險工具呼叫
An attached file told the model to delete all customers. In OpenWebUI, it tried
重點導讀
聊天裡的附件或網頁可能藏著指令,誘使 AI 助理刪除資料或把秘密傳出去。
- 作者在 OpenWebUI 加上 WARDEN 閘道,先檢查工具呼叫再決定是否放行。
- 測試中,Qwen 3.8 27B 和 MiniMax M3 都曾想照附件指令刪除資料,但閘道擋下了呼叫,資料沒有送到工具伺服器。WARDEN 也能先用稽核模式記錄哪些呼叫會被擋,讓管理者觀察後再調整規則。不過,網頁搜尋後模型想繼續查資料時,也可能被誤擋。
- 而未經閘道的工具呼叫和模型最後寫出的回答不在檢查範圍內。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
An attached file told the model to delete all customers. In OpenWebUI, it tried
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文