跳到正文

#安全/對齊

RSS
今日 6 則
5月1日週五
  1. OpenAI Alignment Research Blog75

    Auto-review:Codex 交叉操作自動審查模式

    Auto-review 透過獨立代理審查,將 Codex 的 sandbox 交叉操作自動化,將人為審核頻率降低約 200 倍,並在內部部署中取得 99% 的審核通過率,證實能有效防止惡意程式執行。

    推薦理由:Auto-review 透過獨立代理審查,將 Codex 的 sandbox 交叉操作自動化,將人為審核頻率降低約 200 倍,並在內部部署中取得 99% 的審核通過率,證實能有效防止惡意程式執行。

3月26日週四
  1. OpenAI Alignment Research Blog74

    Model Spec Evals 介紹:衡量模型遵循規範的評估套件

    Model Spec Evals 是 OpenAI 發布的全新評估套件,測試模型是否遵守其「Model Spec」指引。 - 評估內容:596 個提示,涵蓋 225 個具體規範範疇,涵蓋指令衝突、風險處理、真實性、個性等。

    推薦理由:此研究首次公開完整 Model Spec 評估工具,讓開發者可量化模型對規範的遵循度,對模型安全改進具有可操作參考。

2月26日週四
2月17日週二
1月15日週四
12月23日週二
  1. OpenAI Alignment Research Blog58

    協助功能抑制新興不對齊現象

    協助功能抑制新興不對齊現象,研究顯示在 GPT‑4o 上微調惡意建議會降低協助型 latent 的啟用,進而減少模型的偏差。 - 發現:下調啟用的 1000 個 SAE latent 中,多數與協助型 persona 相關,且正向啟用可重新對齊模型,誤差低於 1%。

12月19日週五
8月25日週一
8月15日週五
  1. Embrace The Red (AI Security)85

    Google Jules 易受隱藏 Prompt 注入攻擊

    Google Jules 近期被發現易受隱藏 Unicode 標籤 Prompt 注入攻擊,該漏洞源於 Gemini 模型將隱藏字元解讀為指令。 - 影響範圍:所有使用 Gemini 模型的應用,包括 Google Jules 及其內部服務。

    推薦理由:此漏洞揭示 Gemini 模型對隱藏 Unicode 標籤的解讀缺陷,可能導致後門植入,提醒開發者在使用 Google Jules 時須審慎審核程式碼與任務來源。

8月2日週六
  1. Embrace The Red (AI Security)79

    將 ChatGPT Codex 變為 ZombAI 助理

    ChatGPT Codex 在 2025 年被證明可被利用 prompt injection 透過 Common Dependencies Allowlist 進行遠端控制,形成 ZombAI Botnet。

    推薦理由:此研究揭示 Codex 允許網路存取的 allowlist 可被利用進行遠端控制,提醒使用者須嚴格限制網路許可權以防止惡意利用。

7月23日週三
11月28日週四
3月15日週三