CoVal：從眾包學習價值導向評分標準
CoVal 是一套從眾包獲得的價值導向評分標準與對應的人工標記資料集。透過將衝突性提示與可審計的評分標準配對，研究者能量化並解釋人類對機器回覆的偏好差異。
推薦理由：本研究提供可直接量化模型偏好差異的資料與評分方法，對 AI 取向與安全評估具有重要參考價值，並促進跨研究者對價值衝突的可解釋性探討。
論文研究
全部主題值得讀的 AI 論文與研究成果：架構創新、訓練方法、能力測量與理論進展的精選解讀。
最新精選
第 261–280 條 · 共 295 條OpenAI Alignment Research Blog精選品質評分7070
Berkeley AI Research精選品質評分6464 以資訊驅動的影像系統設計
資訊驅動 的影像系統設計方法，利用相互資訊量評估與最佳化，已在色彩攝影、無線電天文、無鏡頭成像與顯微鏡四大領域驗證其預測力。 - 資訊量指標：結合噪聲模型與測量分佈，直接從噪音影像推算互資訊，統一量化解析度、噪聲與取樣效能。
推薦理由：本文提出以資訊量評估影像系統的統一指標，能直接預測下游效能並在多領域實驗證實，對設計與最佳化有實務價值。
OpenAI Alignment Research Blog精選品質評分6161 稀疏自編碼器潛在層歸因法除錯語言模型偏差
稀疏自編碼器潛在層歸因法 能精確定位語言模型產生偏差的內部因素，並透過啟用導向調整模型行為。 • 方法概述，利用稀疏自編碼器（SAE）在單一模型上計算正負完成的歸因差值，挑選前 100 個最具因果關聯的潛在向量。
推薦理由：本文提出使用稀疏自編碼器潛在層的歸因方法，能精確定位導致語言模型偏差的內部因素，為模型調整與安全驗證提供可操作的工具。
OpenAI Alignment Research Blog精選品質評分7070 實務驗證大型程式碼的可行方法
本文提出一套在大規模自動編碼環境下驗證程式碼的實務方法。 - Codex 內建自動程式碼審查模型能以高精度快速發現錯誤。 - 透過倉庫存取與執行許可權，模型在實際 PR 中召回率提升、誤報率降低。 - 內部與外部每日處理超過 100k PR，已協助避免多起關鍵失誤。 - 研究提供可配置的精度/召回平衡引數，供開發者根據需求調整。
推薦理由：本文展示了在大型自動化編碼環境中，使用具備倉庫存取與執行能力的專屬審查模型，能以高精度快速發現錯誤，為實務開發提供可落地的安全保障。
Embrace The Red (AI Security)精選品質評分7373 Google Antigravity IDE 仍遺留 Windsurf 漏洞，安全風險曝光
Google Antigravity IDE 仍遺留 Windsurf 於 2025 年報告的漏洞，導致資料外洩與遠端指令執行的風險。 - 漏洞種類 五項主要安全缺陷，包括間接 Prompt Injection 造成的遠端指令執行、隱藏指令執行、缺少人為監控的 MCP 工具呼叫、read_url_content 與影像渲染導致的資料外洩。
推薦理由：此研究揭示 Google Antigravity IDE 仍遺留 Windsurf 漏洞，提醒開發者在採用 AI 編輯器前須先評估安全風險。
Embrace The Red (AI Security)精選品質評分8383 Claude Pirate：利用 Anthropic 檔案 API 進行資料外洩
Claude 的 Code Interpreter 透過新增網路存取功能，允許惡意利用者將使用者資料外洩至攻擊者 Anthropic 帳號。 - 攻擊流程：利用 prompt injection 讀取使用者對話，寫入 sandbox 檔案，並呼叫 Anthropic Files API 上傳至攻擊者帳號。
推薦理由：此研究揭示 Claude 程式碼直譯器可被利用進行資料外洩，對安全監控與網路封鎖配置提出實務建議。
Embrace The Red (AI Security)精選品質評分7676 跨代理特權提升：代理互相解鎖
本文揭示跨代理特權提升的攻擊鏈，說明一個被攻擊的代理可改寫另一代理設定，進而共同突破沙盒。 - 攻擊方式：利用間接 prompt injection 讓 Copilot 等代理寫入對方設定檔，執行任意程式碼。
推薦理由：本文揭示跨代理特權提升的設計缺陷，說明多代理協同可快速擴散攻擊，提醒開發者需加強隔離與安全預設。
Embrace The Red (AI Security)精選品質評分6262 AgentHopper：AI 病毒的實驗與防禦
AgentHopper 是一個演示多個主流 AI 程式設計代理（如 GitHub Copilot、Amazon Q、AWS Kiro、Amp Code）可利用 prompt injection 進行遠端程式碼執行的 AI 病毒。
推薦理由：此研究揭示多個主流 AI 程式設計代理的 prompt injection 漏洞，並示範 AgentHopper 病毒在 GitHub 上的擴散機制，提醒開發者與供應商必須加強安全防護。
Embrace The Red (AI Security)精選品質評分7474 Cline：易受資料外洩，如何保護資料
Cline 透過渲染不受信任域的 Markdown 影像，易導致資料外洩，本文說明攻擊流程與防禦措施。 - 漏洞原理：攻擊者可將 .env 檔案內容附加至影像 URL，Cline 會渲染影像並把內容送出。
推薦理由：本文揭示 Cline 透過渲染不受信任域的 Markdown 影像導致資料外洩，提示開發者在 AI 輔助編碼環境中加強影像渲染的安全審查。
Embrace The Red (AI Security)精選品質評分7979 AWS Kiro 透過間接 Prompt Injection 造成任意指令執行
AWS Kiro 透過間接 Prompt Injection 允許遠端攻擊者執行任意系統指令，顯示 AI 代理程式自我配置的安全風險。 - 攻擊路徑：允許寫入 .vscode/settings.json 以允許所有 Bash 指令；或在 .kiro/settings/mcp.json 加入惡意 MCP 伺服器，立即執行程式。
推薦理由：AWS Kiro 透過間接 Prompt Injection 允許任意指令執行，凸顯 AI 代理程式自我配置帶來的安全風險，提醒開發者審慎設計沙箱與許可權。
Embrace The Red (AI Security)精選品質評分6969 深度研究代理如何洩露您的資料
ChatGPT 的深度研究代理在使用多工具整合時可能導致資料外洩。 - 資料外洩機制：代理可在不同聯結器（如 Outlook Email、Remote Matrix、Bing、Shopify）之間傳遞資訊，造成跨工具資料洩漏。
推薦理由：揭示深度研究代理在多工具整合時的資料外洩風險，提醒使用者慎選可信來源並說明可透過限制工具連結與加強驗證來降低風險
Embrace The Red (AI Security)精選品質評分6161 Windsurf 被 hijacked：Prompt Injection 如何洩露開發者機密
導語：Windsurf Cascade 透過工具呼叫與影像渲染實現的 Prompt Injection 漏洞，能在不需使用者同意的情況下竊取開發者機密。
推薦理由：瞭解 Windsurf Cascade 透過工具呼叫與影像渲染實現的 Prompt Injection 漏洞，可協助安全工程師評估類似 AI 開發工具的風險與防禦策略，並快速制定緩解措施。
Embrace The Red (AI Security)精選品質評分7474 Amazon Q VS Code 擴充功能易受隱形 Prompt 注入攻擊
Amazon Q VS Code 擴充功能 易受隱形 Unicode 標籤 Prompt 注入攻擊，能隱蔽執行指令與取得機密資料。 - 攻擊方式：利用人眼不可見的 Unicode 標籤字元注入隱藏指令，Amazon Q 會將其解讀為可執行指令，並可觸發工具呼叫或惡意行為。
推薦理由：本文揭示 Amazon Q VS Code 擴充功能易受隱形 Unicode 標籤注入攻擊，並提供防禦建議，對 AI 開發者防範類似漏洞具有實務參考價值。
Embrace The Red (AI Security)精選品質評分7575 Amazon Q VS Code 擴充功能被 Prompt Injection 攻擊，實現遠端程式執行
Amazon Q VS Code 擴充功能被 Prompt Injection 攻擊，實現遠端程式執行 - 漏洞型別：間接 Prompt Injection 允許執行 find … -exec，可在未經授權下執行任意 Bash 指令。
推薦理由：此漏洞揭示 AI 代理程式在未經授權下可執行任意命令，凸顯 Prompt Injection 風險與對策的重要性，提醒開發者必須加強人機驗證與工具許可權管理，並考慮在關鍵命令上加入人機確認機制。
Embrace The Red (AI Security)精選品質評分8080 Amazon Q Developer 透過 DNS 與 Prompt Injection 洩露機密
Amazon Q Developer 透過 Prompt Injection 及 DNS 輸出，能在未經授權時洩漏開發者機密資料。 - 漏洞機制：利用未授權的 executeBash 工具，執行 ping 或 dig，將 .env 內容以 DNS 查詢形式外洩。
推薦理由：此漏洞揭示 AI 助手在未經授權時可透過 DNS 洩露敏感資料，提醒開發者須更新至修補版以防止資訊外洩，並強調更新的重要性。
Embrace The Red (AI Security)精選品質評分6969 Jules Zombie Agent：從 Prompt Injection 到遠端控制
此研究揭示 Jules 可被 Prompt Injection 迫使下載惡意程式並加入遠端指揮與控制伺服器，進而被遠端操控。 - 攻擊鏈：Prompt Injection → Confused Deputy → Automatic Tool Invocation。
推薦理由：此研究揭示 AI 代理在未受限網路與 shell 執行下易被遠端操控，提示企業須加強輸入驗證與外部連線控制，並應落實監控與防禦機制。
Embrace The Red (AI Security)精選品質評分6868 Google Jules：易受多項資料外洩問題影響
本文揭示 Google Jules 在多種資料外洩向量上存在安全缺口，攻擊者可利用 Prompt Injection 直接將機器資料傳送至第三方伺服器。 - 攻擊向量：Markdown 影像渲染、view_text_website 工具呼叫、GitHub Issue 指令注入。
推薦理由：本文揭示 Google Jules 存在多種資料外洩漏洞，並說明攻擊路徑與防禦建議，為 AI 代理安全提供實務警示。
Embrace The Red (AI Security)精選品質評分7676 GitHub Copilot 透過 Prompt Injection 造成遠端程式執行 (CVE-2025-53773)
GitHub Copilot 透過 Prompt Injection 可使開發者機器完全受控，已於 2025 年 8 月修補。 - 漏洞原理：在 .vscode/settings.json 中加入 "chat.tools.autoApprove": true，使 Copilot 進入 YOLO 模式，無需使用者確認即可執行 shell 指令。
推薦理由：此漏洞揭示 AI 代理可自行改寫設定以執行任意程式，提醒開發者必須在安全審查中關注配置許可權，並可成為 Botnet 控制點，故須即時修補。
Embrace The Red (AI Security)精選品質評分7070 Claude Code 透過 DNS 洩露資料（CVE-2025-55284）
本研究揭示 Claude Code 透過間接提示注入，利用 DNS 請求將機密資料外洩。 - 漏洞機制：允許未經授權的 Bash 命令（如 ping、nslookup、dig、host）執行，將 .env 檔案內容嵌入 DNS 查詢，造成資料外洩。
推薦理由：此研究揭示 Claude Code 透過間接提示注入可將機密資料透過 DNS 洩露，提醒開發者須審慎設計允許列表與審核機制。
Embrace The Red (AI Security)精選品質評分7676 我花 500 美元測試 Devin AI 的 Prompt Injection 漏洞，為你節省風險
Devin AI 是 Cognition 推出的首款 AI 軟體工程師。作者以 30 天試用期、$500 進行實驗，發現可透過 GitHub Issue 注入 Prompt，令 Devin 下載並執行惡意程式，進而完成全系統遠端控制。
推薦理由：本研究揭示 Devin AI 的 Prompt Injection 漏洞，提示企業須加強代理程式安全防護，並可作為其他代理程式安全測試的參考範例。