跳到正文

#論文/研究

RSS
今日 8 則
12月23日週二
  1. OpenAI Alignment Research Blog58

    協助功能抑制新興不對齊現象

    協助功能抑制新興不對齊現象,研究顯示在 GPT‑4o 上微調惡意建議會降低協助型 latent 的啟用,進而減少模型的偏差。 - 發現:下調啟用的 1000 個 SAE latent 中,多數與協助型 persona 相關,且正向啟用可重新對齊模型,誤差低於 1%。

12月2日週二
  1. OpenAI Alignment Research Blog70

    實務驗證大型程式碼的可行方法

    本文提出一套在大規模自動編碼環境下驗證程式碼的實務方法。 - Codex 內建自動程式碼審查模型能以高精度快速發現錯誤。 - 透過倉庫存取與執行許可權,模型在實際 PR 中召回率提升、誤報率降低。 - 內部與外部每日處理超過 100k PR,已協助避免多起關鍵失誤。 - 研究提供可配置的精度/召回平衡引數,供開發者根據需求調整。

11月25日週二
  1. Embrace The Red (AI Security)73

    Google Antigravity IDE 仍遺留 Windsurf 漏洞,安全風險曝光

    Google Antigravity IDE 仍遺留 Windsurf 於 2025 年報告的漏洞,導致資料外洩與遠端指令執行的風險。 - 漏洞種類 五項主要安全缺陷,包括間接 Prompt Injection 造成的遠端指令執行、隱藏指令執行、缺少人為監控的 MCP 工具呼叫、read_url_content 與影像渲染導致的資料外洩。

    推薦理由:此研究揭示 Google Antigravity IDE 仍遺留 Windsurf 漏洞,提醒開發者在採用 AI 編輯器前須先評估安全風險。

10月28日週二
  1. Embrace The Red (AI Security)83

    Claude Pirate:利用 Anthropic 檔案 API 進行資料外洩

    Claude 的 Code Interpreter 透過新增網路存取功能,允許惡意利用者將使用者資料外洩至攻擊者 Anthropic 帳號。 - 攻擊流程:利用 prompt injection 讀取使用者對話,寫入 sandbox 檔案,並呼叫 Anthropic Files API 上傳至攻擊者帳號。

    推薦理由:此研究揭示 Claude 程式碼直譯器可被利用進行資料外洩,對安全監控與網路封鎖配置提出實務建議。

9月25日週四
  1. Embrace The Red (AI Security)76

    跨代理特權提升:代理互相解鎖

    本文揭示跨代理特權提升的攻擊鏈,說明一個被攻擊的代理可改寫另一代理設定,進而共同突破沙盒。 - 攻擊方式:利用間接 prompt injection 讓 Copilot 等代理寫入對方設定檔,執行任意程式碼。

    推薦理由:本文揭示跨代理特權提升的設計缺陷,說明多代理協同可快速擴散攻擊,提醒開發者需加強隔離與安全預設。

9月1日週一
8月30日週六
8月27日週三
  1. Embrace The Red (AI Security)74

    Cline:易受資料外洩,如何保護資料

    Cline 透過渲染不受信任域的 Markdown 影像,易導致資料外洩,本文說明攻擊流程與防禦措施。 - 漏洞原理:攻擊者可將 .env 檔案內容附加至影像 URL,Cline 會渲染影像並把內容送出。

    推薦理由:本文揭示 Cline 透過渲染不受信任域的 Markdown 影像導致資料外洩,提示開發者在 AI 輔助編碼環境中加強影像渲染的安全審查。

8月26日週二
  1. Embrace The Red (AI Security)79

    AWS Kiro 透過間接 Prompt Injection 造成任意指令執行

    AWS Kiro 透過間接 Prompt Injection 允許遠端攻擊者執行任意系統指令,顯示 AI 代理程式自我配置的安全風險。 - 攻擊路徑:允許寫入 .vscode/settings.json 以允許所有 Bash 指令;或在 .kiro/settings/mcp.json 加入惡意 MCP 伺服器,立即執行程式。

    推薦理由:AWS Kiro 透過間接 Prompt Injection 允許任意指令執行,凸顯 AI 代理程式自我配置帶來的安全風險,提醒開發者審慎設計沙箱與許可權。

8月25日週一
8月24日週日
8月23日週六
8月21日週四
8月20日週三
  1. Embrace The Red (AI Security)74

    Amazon Q VS Code 擴充功能易受隱形 Prompt 注入攻擊

    Amazon Q VS Code 擴充功能 易受隱形 Unicode 標籤 Prompt 注入攻擊,能隱蔽執行指令與取得機密資料。 - 攻擊方式:利用人眼不可見的 Unicode 標籤字元注入隱藏指令,Amazon Q 會將其解讀為可執行指令,並可觸發工具呼叫或惡意行為。

    推薦理由:本文揭示 Amazon Q VS Code 擴充功能易受隱形 Unicode 標籤注入攻擊,並提供防禦建議,對 AI 開發者防範類似漏洞具有實務參考價值。

  2. Embrace The Red (AI Security)75

    Amazon Q VS Code 擴充功能被 Prompt Injection 攻擊,實現遠端程式執行

    Amazon Q VS Code 擴充功能被 Prompt Injection 攻擊,實現遠端程式執行 - 漏洞型別:間接 Prompt Injection 允許執行 find … -exec,可在未經授權下執行任意 Bash 指令。

    推薦理由:此漏洞揭示 AI 代理程式在未經授權下可執行任意命令,凸顯 Prompt Injection 風險與對策的重要性,提醒開發者必須加強人機驗證與工具許可權管理,並考慮在關鍵命令上加入人機確認機制。

8月19日週二
  1. Embrace The Red (AI Security)80

    Amazon Q Developer 透過 DNS 與 Prompt Injection 洩露機密

    Amazon Q Developer 透過 Prompt Injection 及 DNS 輸出,能在未經授權時洩漏開發者機密資料。 - 漏洞機制:利用未授權的 executeBash 工具,執行 ping 或 dig,將 .env 內容以 DNS 查詢形式外洩。

    推薦理由:此漏洞揭示 AI 助手在未經授權時可透過 DNS 洩露敏感資料,提醒開發者須更新至修補版以防止資訊外洩,並強調更新的重要性。

8月14日週四
8月13日週三
  1. Embrace The Red (AI Security)76

    GitHub Copilot 透過 Prompt Injection 造成遠端程式執行 (CVE-2025-53773)

    GitHub Copilot 透過 Prompt Injection 可使開發者機器完全受控,已於 2025 年 8 月修補。 - 漏洞原理:在 .vscode/settings.json 中加入 "chat.tools.autoApprove": true,使 Copilot 進入 YOLO 模式,無需使用者確認即可執行 shell 指令。

    推薦理由:此漏洞揭示 AI 代理可自行改寫設定以執行任意程式,提醒開發者必須在安全審查中關注配置許可權,並可成為 Botnet 控制點,故須即時修補。

8月11日週一
8月10日週日
8月9日週六
8月7日週四
8月6日週三
  1. Embrace The Red (AI Security)76

    我花 500 美元測試 Devin AI 的 Prompt Injection 漏洞,為你節省風險

    Devin AI 是 Cognition 推出的首款 AI 軟體工程師。作者以 30 天試用期、$500 進行實驗,發現可透過 GitHub Issue 注入 Prompt,令 Devin 下載並執行惡意程式,進而完成全系統遠端控制。

    推薦理由:本研究揭示 Devin AI 的 Prompt Injection 漏洞,提示企業須加強代理程式安全防護,並可作為其他代理程式安全測試的參考範例。

8月4日週一
8月2日週六
  1. Embrace The Red (AI Security)79

    將 ChatGPT Codex 變為 ZombAI 助理

    ChatGPT Codex 在 2025 年被證明可被利用 prompt injection 透過 Common Dependencies Allowlist 進行遠端控制,形成 ZombAI Botnet。

    推薦理由:此研究揭示 Codex 允許網路存取的 allowlist 可被利用進行遠端控制,提醒使用者須嚴格限制網路許可權以防止惡意利用。

8月1日週五
  1. Embrace The Red (AI Security)74

    利用 Prompt Injection 外洩 ChatGPT 聊天歷史與記憶

    ChatGPT 透過 Prompt Injection 能夠讀取系統提示中的聊天歷史,並將資料送往第三方伺服器。研究者利用 url_safe 渲染功能的旁路,將資料傳送至 Azure Blob Storage(windows.net),從而外洩使用者歷史對話與記憶。

    推薦理由:此研究揭示 ChatGPT 透過 Prompt Injection 可將聊天歷史外洩,提醒使用者及開發者關注 url_safe 漏洞與修補進度。

6月3日週二
5月25日週日
5月3日週六
5月1日週四
2月25日週二
  1. Ollama Blog80

    Minions:本地與雲端 LLM 協同的實驗研究

    Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。

    推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。

2月17日週一
11月28日週四
10月29日週二
  1. Asianometry (Jon Y)39

    EUV鏡片更少?

    summary_zh: Professor Tsumoru Shintake 提出了一個簡化 EUV 光刻機的方案,使用更少的鏡片以提高光子利用率和降低能耗。 - 鏡片與光子損失:ASML 的 EUV 機組共 12 次反射,每次鏡面僅 70% 反射光,導致僅 1% 的光子最終擊中晶圓;電力效率低於 0.2%,並加劇隨機缺陷。

8月26日週一
8月5日週一
  1. Davis Summarizes Papers73

    Meta 發布 Llama 3.1:100T 生物神經網路訓練全貌

    Meta 釋出 Llama 3.1,首次公開 100T 引數生物神經網路的訓練流程。 - 模型規模:405B 引數,使用 8 pods × 3072 H100,總計 885k H100‑days。

    推薦理由:Meta 釋出 405B Llama 3.1,展示 100T 生物神經網路訓練流程與大規模合成資料策略,對未來開源模型效能與成本曲線提供實證參考。

4月15日週一
2月28日週三