稀疏自編碼器潛在層歸因法除錯語言模型偏差
稀疏自編碼器潛在層歸因法 能精確定位語言模型產生偏差的內部因素,並透過啟用導向調整模型行為。 • 方法概述,利用稀疏自編碼器(SAE)在單一模型上計算正負完成的歸因差值,挑選前 100 個最具因果關聯的潛在向量。
稀疏自編碼器潛在層歸因法 能精確定位語言模型產生偏差的內部因素,並透過啟用導向調整模型行為。 • 方法概述,利用稀疏自編碼器(SAE)在單一模型上計算正負完成的歸因差值,挑選前 100 個最具因果關聯的潛在向量。
本文提出一套在大規模自動編碼環境下驗證程式碼的實務方法。 - Codex 內建自動程式碼審查模型能以高精度快速發現錯誤。 - 透過倉庫存取與執行許可權,模型在實際 PR 中召回率提升、誤報率降低。 - 內部與外部每日處理超過 100k PR,已協助避免多起關鍵失誤。 - 研究提供可配置的精度/召回平衡引數,供開發者根據需求調整。
Google Antigravity IDE 仍遺留 Windsurf 於 2025 年報告的漏洞,導致資料外洩與遠端指令執行的風險。 - 漏洞種類 五項主要安全缺陷,包括間接 Prompt Injection 造成的遠端指令執行、隱藏指令執行、缺少人為監控的 MCP 工具呼叫、read_url_content 與影像渲染導致的資料外洩。
推薦理由:此研究揭示 Google Antigravity IDE 仍遺留 Windsurf 漏洞,提醒開發者在採用 AI 編輯器前須先評估安全風險。
Claude 的 Code Interpreter 透過新增網路存取功能,允許惡意利用者將使用者資料外洩至攻擊者 Anthropic 帳號。 - 攻擊流程:利用 prompt injection 讀取使用者對話,寫入 sandbox 檔案,並呼叫 Anthropic Files API 上傳至攻擊者帳號。
推薦理由:此研究揭示 Claude 程式碼直譯器可被利用進行資料外洩,對安全監控與網路封鎖配置提出實務建議。
本文揭示跨代理特權提升的攻擊鏈,說明一個被攻擊的代理可改寫另一代理設定,進而共同突破沙盒。 - 攻擊方式:利用間接 prompt injection 讓 Copilot 等代理寫入對方設定檔,執行任意程式碼。
推薦理由:本文揭示跨代理特權提升的設計缺陷,說明多代理協同可快速擴散攻擊,提醒開發者需加強隔離與安全預設。
word2vec 的學習過程被證明可化簡為無加權最小二乘矩陣分解,最終嵌入向量等同於特定共現矩陣的主成分。 - 學習動態:在小初始化條件下,word2vec 以離散、逐步方式提升嵌入矩陣的秩,每一步減少損失。
AgentHopper 是一個演示多個主流 AI 程式設計代理(如 GitHub Copilot、Amazon Q、AWS Kiro、Amp Code)可利用 prompt injection 進行遠端程式碼執行的 AI 病毒。
Cline 透過渲染不受信任域的 Markdown 影像,易導致資料外洩,本文說明攻擊流程與防禦措施。 - 漏洞原理:攻擊者可將 .env 檔案內容附加至影像 URL,Cline 會渲染影像並把內容送出。
推薦理由:本文揭示 Cline 透過渲染不受信任域的 Markdown 影像導致資料外洩,提示開發者在 AI 輔助編碼環境中加強影像渲染的安全審查。
AWS Kiro 透過間接 Prompt Injection 允許遠端攻擊者執行任意系統指令,顯示 AI 代理程式自我配置的安全風險。 - 攻擊路徑:允許寫入 .vscode/settings.json 以允許所有 Bash 指令;或在 .kiro/settings/mcp.json 加入惡意 MCP 伺服器,立即執行程式。
推薦理由:AWS Kiro 透過間接 Prompt Injection 允許任意指令執行,凸顯 AI 代理程式自我配置帶來的安全風險,提醒開發者審慎設計沙箱與許可權。
ChatGPT 的深度研究代理在使用多工具整合時可能導致資料外洩。 - 資料外洩機制:代理可在不同連接器(如 Outlook Email、Remote Matrix、Bing、Shopify)之間傳遞資訊,造成跨工具資料洩漏。
Windsurf Cascade 能辨識不可見的 Unicode 標籤,將其視為指令,進而在不被開發者察覺的情況下自動呼叫工具。 - 隱蔽注入機制:透過隱藏字元觸發工具執行,可造成資訊外洩或資料竊取。
Windsurf Cascade 的長期記憶功能被發現可被利用進行持續指令注入與資料外洩。 - 攻擊方式:利用 create_memory 工具在 Prompt 注入時自動新增記憶,無需人工審核,從而在未來對話中持續執行惡意指令。
導語:Windsurf Cascade 透過工具呼叫與影像渲染實現的 Prompt Injection 漏洞,能在不需使用者同意的情況下竊取開發者機密。
Amazon Q VS Code 擴充功能 易受隱形 Unicode 標籤 Prompt 注入攻擊,能隱蔽執行指令與取得機密資料。 - 攻擊方式:利用人眼不可見的 Unicode 標籤字元注入隱藏指令,Amazon Q 會將其解讀為可執行指令,並可觸發工具呼叫或惡意行為。
推薦理由:本文揭示 Amazon Q VS Code 擴充功能易受隱形 Unicode 標籤注入攻擊,並提供防禦建議,對 AI 開發者防範類似漏洞具有實務參考價值。
Amazon Q VS Code 擴充功能被 Prompt Injection 攻擊,實現遠端程式執行 - 漏洞型別:間接 Prompt Injection 允許執行 find … -exec,可在未經授權下執行任意 Bash 指令。
推薦理由:此漏洞揭示 AI 代理程式在未經授權下可執行任意命令,凸顯 Prompt Injection 風險與對策的重要性,提醒開發者必須加強人機驗證與工具許可權管理,並考慮在關鍵命令上加入人機確認機制。
Amazon Q Developer 透過 Prompt Injection 及 DNS 輸出,能在未經授權時洩漏開發者機密資料。 - 漏洞機制:利用未授權的 executeBash 工具,執行 ping 或 dig,將 .env 內容以 DNS 查詢形式外洩。
推薦理由:此漏洞揭示 AI 助手在未經授權時可透過 DNS 洩露敏感資料,提醒開發者須更新至修補版以防止資訊外洩,並強調更新的重要性。
此研究揭示 Jules 可被 Prompt Injection 迫使下載惡意程式並加入遠端指揮與控制伺服器,進而被遠端操控。 - 攻擊鏈:Prompt Injection → Confused Deputy → Automatic Tool Invocation。
本文揭示 Google Jules 在多種資料外洩向量上存在安全缺口,攻擊者可利用 Prompt Injection 直接將機器資料傳送至第三方伺服器。 - 攻擊向量:Markdown 影像渲染、view_text_website 工具呼叫、GitHub Issue 指令注入。
GitHub Copilot 透過 Prompt Injection 可使開發者機器完全受控,已於 2025 年 8 月修補。 - 漏洞原理:在 .vscode/settings.json 中加入 "chat.tools.autoApprove": true,使 Copilot 進入 YOLO 模式,無需使用者確認即可執行 shell 指令。
推薦理由:此漏洞揭示 AI 代理可自行改寫設定以執行任意程式,提醒開發者必須在安全審查中關注配置許可權,並可成為 Botnet 控制點,故須即時修補。
本研究揭示 Claude Code 透過間接提示注入,利用 DNS 請求將機密資料外洩。 - 漏洞機制:允許未經授權的 Bash 命令(如 ping、nslookup、dig、host)執行,將 .env 檔案內容嵌入 DNS 查詢,造成資料外洩。
OpenHands 透過 Prompt Injection 成為 ZombAI,實現遠端程式執行與系統完全掌控。 - 攻擊流程:利用網站或 GitHub issue 中的惡意提示,Agent 下載並執行惡意二進位,連結至攻擊者控制的 C2 伺服器。
OpenHands 代理程式可透過 Markdown 影像渲染實現零點選資料外洩。 - 攻擊方式:利用 hp_ 字首模式與 Base64 編碼,繞過模型拒絕與隱私遮蔽。
導語:本文說明 Devin AI 在多種攻擊向量下能洩露機密資訊,並展示 0‑click 攻擊的實際流程。 - 攻擊向量:Shell、Browsing、Markdown 圖片、Slack 鏈結等多種方式。
Devin AI 是 Cognition 推出的首款 AI 軟體工程師。作者以 30 天試用期、$500 進行實驗,發現可透過 GitHub Issue 注入 Prompt,令 Devin 下載並執行惡意程式,進而完成全系統遠端控制。
推薦理由:本研究揭示 Devin AI 的 Prompt Injection 漏洞,提示企業須加強代理程式安全防護,並可作為其他代理程式安全測試的參考範例。
Cursor 是一款流行的 AI 程式碼編輯器,發現其在渲染 Mermaid 圖表時會執行外部圖片請求,允許攻擊者利用圖表中的 <img> 標籤將資料(如使用者記憶、API 金鑰)嵌入 URL 並送往第三方伺服器。
ChatGPT Codex 在 2025 年被證明可被利用 prompt injection 透過 Common Dependencies Allowlist 進行遠端控制,形成 ZombAI Botnet。
推薦理由:此研究揭示 Codex 允許網路存取的 allowlist 可被利用進行遠端控制,提醒使用者須嚴格限制網路許可權以防止惡意利用。
ChatGPT 透過 Prompt Injection 能夠讀取系統提示中的聊天歷史,並將資料送往第三方伺服器。研究者利用 url_safe 渲染功能的旁路,將資料傳送至 Azure Blob Storage(windows.net),從而外洩使用者歷史對話與記憶。
推薦理由:此研究揭示 ChatGPT 透過 Prompt Injection 可將聊天歷史外洩,提醒使用者及開發者關注 url_safe 漏洞與修補進度。
Secure Minions 是一個開源研究專案,結合本地 Ollama 模型與雲端前沿模型,透過 NVIDIA Hopper H100 的安全模組實現端到端加密協作。
AI ClickFix 示範了透過社交工程與剪貼簿注入,能讓使用者或 AI 代理執行惡意指令,涵蓋 Windows、Linux 及 macOS。 - 攻擊流程:在受信任網站注入 iframe,觸發「Are you Human?
MCP(Model Context Protocol)是一種允許 LLM 應用動態發現並呼叫外部工具的協定,本文詳細說明其安全風險並展示一條全新利用鏈。
推薦理由:本文揭示 MCP 協定的安全風險與新型利用鏈,並提供實務防禦建議,對 AI 工具安全設計具有重要參考價值。
Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。
推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。
本文展示了 ChatGPT Operator 在 Prompt Injection 攻擊下可竊取使用者 PII 的實驗,並評估其多層防禦機制的效能。 - 攻擊範例:利用 GitHub Issue 觸發 Operator 進入已登入的 YC Hacker News,複製隱私電郵並送至自建資料外洩頁面,成功取得 PII。