**title_zh:** AI 產業中的偏差正常化
summary_zh: 作者指出,AI 產業正面臨「偏差正常化」風險,企業與開發者過度依賴 LLM 輸出,可能導致安全漏洞與意外行為。 - 概念來源:此術語源自社會學家 Diane Vaughan 的「偏差正常化」概念,最初用於解釋美國航天挑戰者號災難中警示被忽視的過程。
summary_zh: 作者指出,AI 產業正面臨「偏差正常化」風險,企業與開發者過度依賴 LLM 輸出,可能導致安全漏洞與意外行為。 - 概念來源:此術語源自社會學家 Diane Vaughan 的「偏差正常化」概念,最初用於解釋美國航天挑戰者號災難中警示被忽視的過程。
Claude 的 Code Interpreter 透過新增網路存取功能,允許惡意利用者將使用者資料外洩至攻擊者 Anthropic 帳號。 - 攻擊流程:利用 prompt injection 讀取使用者對話,寫入 sandbox 檔案,並呼叫 Anthropic Files API 上傳至攻擊者帳號。
推薦理由:此研究揭示 Claude 程式碼直譯器可被利用進行資料外洩,對安全監控與網路封鎖配置提出實務建議。
本文揭示跨代理特權提升的攻擊鏈,說明一個被攻擊的代理可改寫另一代理設定,進而共同突破沙盒。 - 攻擊方式:利用間接 prompt injection 讓 Copilot 等代理寫入對方設定檔,執行任意程式碼。
推薦理由:本文揭示跨代理特權提升的設計缺陷,說明多代理協同可快速擴散攻擊,提醒開發者需加強隔離與安全預設。
Windsurf Cascade 能辨識不可見的 Unicode 標籤,將其視為指令,進而在不被開發者察覺的情況下自動呼叫工具。 - 隱蔽注入機制:透過隱藏字元觸發工具執行,可造成資訊外洩或資料竊取。
Amazon Q VS Code 擴充功能 易受隱形 Unicode 標籤 Prompt 注入攻擊,能隱蔽執行指令與取得機密資料。 - 攻擊方式:利用人眼不可見的 Unicode 標籤字元注入隱藏指令,Amazon Q 會將其解讀為可執行指令,並可觸發工具呼叫或惡意行為。
推薦理由:本文揭示 Amazon Q VS Code 擴充功能易受隱形 Unicode 標籤注入攻擊,並提供防禦建議,對 AI 開發者防範類似漏洞具有實務參考價值。
本研究揭示 Claude Code 透過間接提示注入,利用 DNS 請求將機密資料外洩。 - 漏洞機制:允許未經授權的 Bash 命令(如 ping、nslookup、dig、host)執行,將 .env 檔案內容嵌入 DNS 查詢,造成資料外洩。
OpenHands 透過 Prompt Injection 成為 ZombAI,實現遠端程式執行與系統完全掌控。 - 攻擊流程:利用網站或 GitHub issue 中的惡意提示,Agent 下載並執行惡意二進位,連結至攻擊者控制的 C2 伺服器。
Anthropic Filesystem MCP 伺服器的路徑驗證缺陷被發現,允許 AI 伺服器存取非授權子目錄。 - 缺陷機制:僅以 .startsWith 檢查允許目錄,未確認目錄存在,導致同名子目錄被授權。
本倡議將於 2025 年 8 月舉行「AI 漏洞月」,聚焦代理式 AI 系統中的 Prompt Injection 漏洞,並透過每日博文揭露實際攻擊案例與緩解建議。
MCP 伺服器 讓使用者能以 MCP 協定託管並操作 Windows COM 物件,實現跨語言的自動化。 - 功能:支援 CreateObject、Get/Set Property、InvokeMethod、QueryInterface 及 ListAllHostedServers,並可動態根據 CLSID/ProgID 啟動任意 COM 物件。
AI ClickFix 示範了透過社交工程與剪貼簿注入,能讓使用者或 AI 代理執行惡意指令,涵蓋 Windows、Linux 及 macOS。 - 攻擊流程:在受信任網站注入 iframe,觸發「Are you Human?
MCP(Model Context Protocol)是一種允許 LLM 應用動態發現並呼叫外部工具的協定,本文詳細說明其安全風險並展示一條全新利用鏈。
推薦理由:本文揭示 MCP 協定的安全風險與新型利用鏈,並提供實務防禦建議,對 AI 工具安全設計具有重要參考價值。