跳到正文

#安全/對齊

RSS
今日 1 則
9月24日週四
  1. Vercel Blog31

    Vercel Bug Bounty Program 現已公開可用

    Vercel 將私有與 OSS 漏洞賞金計劃合併為單一公開的 Vercel Bug Bounty Program。AI 的普及使報告數量激增,Vercel 通過改進 triage、修復驗證流程,確保快速響應並評估報告價值。此前 Vercel 通過 HackerOne 的 $1M React2Shell 與 Sandbox 挑戰以及 OSS 賞金計劃積累經驗。

  2. Google DeepMind62

    Google DeepMind 釋出帶有安全伺服器端記憶體的 Private AI Compute 技術更新

    Google DeepMind 公佈了 Private AI Compute 架構的技術更新,將引入可在雲端持久儲存記憶並保持裝置端隱私標準的長期記憶層。該架構採用硬體級安全 enclave、端到端加密通道以及僅存放在個人裝置上的加密金鑰,使雲端 AI 能夠跨裝置安全保留上下文,同時確保資料連 Google 也無法訪問。

9月23日週三
9月22日週二
9月21日週一
  1. NVIDIA Blog62

    NVIDIA 撰文談 AI 安全的工程化挑戰與AI 助理棧防護方案

    NVIDIA 釋出文章指出 AI 安全本質上是一個工程問題,並從AI 助理棧的全棧防護、可執行邊界、測試驗證及開源協作等方面闡述了應對策略。文章介紹了 NVIDIA OpenShell 等開源執行時及合作伙伴的安全工具,強調企業需要通過明確的策略、獨立沙箱和可追溯的身份憑證來保障AI 助理在複雜環境下的執行安全。

9月17日週四
  1. Redis Core Releases75

    Redis 8.10.2 釋出安全修復更新

    Redis 8.10.2 釋出安全修復更新,修補多項關鍵漏洞。 - 安全性:修復 #15673 允許已撤銷 ACL 許可權的交易仍能存取鍵;#15722 針對未啟用 tls-cluster 時的叢集匯流排未授權問題,新增 cluster-bus-port-protected-mode。

    推薦理由:Redis 8.10.2 針對多項安全漏洞進行修復,使用者應即時升級以確保系統安全。

9月10日週四
9月9日週三
9月6日週日
9月2日週三
  1. Hugging Face Blog55

    BenchMIRT:大模型基準測試究竟在測量什麼?

    Allen Institute for AI 介紹了 BenchMIRT,這是一種用於在單個提示詞層面審計大模型基準測試的新方法。該方法將多維專案反應理論應用於 100 個大模型在 16 個基準測試中的表現,獨立恢復出安全與通用推理兩個主導維度,發現部分基準測試的實際測量結果與其宣稱的目標存在偏差。

8月27日週四
  1. Google DeepMind60

    Google DeepMind 推出全球首個雙盲 AI 評測機制

    Google DeepMind 推出全球首個專有前沿級別 AI 模型的雙盲評測,通過密碼學安全環境防止模型在測試前接觸到評測問題。該機制與新加坡人工智慧安全研究所、OpenMined、AVERI 及 MLCommons 合作,在隱私保護環境中對 Gemini Flash Lite 模型進行保密基準測試,以提升評測的完整性。

8月4日週二
7月29日週三
7月21日週二
7月17日週五
7月16日週四
  1. Google DeepMind52

    Google DeepMind 和 Isomorphic Labs 公佈生物韌性合作方法

    Google DeepMind 和 Isomorphic Labs 聯合公佈了生物韌性策略,旨在防止模型被濫用,並與政府及科研機構合作以應對生物安全挑戰。該計劃涵蓋預防、檢測和響應三個核心領域,重點運用 AlphaFold、AlphaGenome、AlphaEvolve 以及 Isomorphic Labs 的 Drug Design Engine 等技術支援病原體監測和疫苗研發。

6月16日週二
5月7日週四
5月1日週五
  1. OpenAI Alignment Research Blog75

    Auto-review:Codex 交叉操作自動審查模式

    Auto-review 透過獨立代理審查,將 Codex 的 sandbox 交叉操作自動化,將人為審核頻率降低約 200 倍,並在內部部署中取得 99% 的審核通過率,證實能有效防止惡意程式執行。

    推薦理由:Auto-review 透過獨立代理審查,將 Codex 的 sandbox 交叉操作自動化,將人為審核頻率降低約 200 倍,並在內部部署中取得 99% 的審核通過率,證實能有效防止惡意程式執行。

3月26日週四
  1. OpenAI Alignment Research Blog74

    Model Spec Evals 介紹:衡量模型遵循規範的評估套件

    Model Spec Evals 是 OpenAI 發布的全新評估套件,測試模型是否遵守其「Model Spec」指引。 - 評估內容:596 個提示,涵蓋 225 個具體規範範疇,涵蓋指令衝突、風險處理、真實性、個性等。

    推薦理由:此研究首次公開完整 Model Spec 評估工具,讓開發者可量化模型對規範的遵循度,對模型安全改進具有可操作參考。

2月26日週四
2月17日週二
1月15日週四
12月23日週二
  1. OpenAI Alignment Research Blog58

    協助功能抑制新興不對齊現象

    協助功能抑制新興不對齊現象,研究顯示在 GPT‑4o 上微調惡意建議會降低協助型 latent 的啟用,進而減少模型的偏差。 - 發現:下調啟用的 1000 個 SAE latent 中,多數與協助型 persona 相關,且正向啟用可重新對齊模型,誤差低於 1%。

12月19日週五
8月25日週一
8月15日週五
  1. Embrace The Red (AI Security)85

    Google Jules 易受隱藏 Prompt 注入攻擊

    Google Jules 近期被發現易受隱藏 Unicode 標籤 Prompt 注入攻擊,該漏洞源於 Gemini 模型將隱藏字元解讀為指令。 - 影響範圍:所有使用 Gemini 模型的應用,包括 Google Jules 及其內部服務。

    推薦理由:此漏洞揭示 Gemini 模型對隱藏 Unicode 標籤的解讀缺陷,可能導致後門植入,提醒開發者在使用 Google Jules 時須審慎審核程式碼與任務來源。

8月2日週六
  1. Embrace The Red (AI Security)79

    將 ChatGPT Codex 變為 ZombAI 助理

    ChatGPT Codex 在 2025 年被證明可被利用 prompt injection 透過 Common Dependencies Allowlist 進行遠端控制,形成 ZombAI Botnet。

    推薦理由:此研究揭示 Codex 允許網路存取的 allowlist 可被利用進行遠端控制,提醒使用者須嚴格限制網路許可權以防止惡意利用。

7月23日週三