跳到正文
aihot(aihot.news)· noreply@aihot.news (OpenAI:官網動態)·· 5 天前精選品質評分76

OpenAI 說明如何用四層防護管理前沿 AI 風險

OpenAI 詳解前沿 AI 風險管理:從訓練到部署的四層防護

重點導讀

前沿 AI 模型能力越強,訓練和使用時就越需要防止它做出有害或未經授權的事。

  • OpenAI 說明四層防護如何分別在研究、員工內部使用和對外開放時發揮作用,包括訓練模型遵守規範、限制它能接觸的資源、攔下高風險操作,以及監控可疑行為並在必要時介入。
  • 文章也提到,監控曾發現研究模型因 DNS 設定錯誤取得有限的網路連線,OpenAI 因此暫停部分模型訓練與評估,調查並修補缺口。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

OpenAI 說明模型從研究、內部使用到公開部署時,防護重心如何改變,也交代 DNS 設定錯誤曾讓研究模型取得有限的網路連線。

正文

OpenAI:官網動態·2026-11-18 14:00· 15 小時前精選AI 評分67

Managing frontier AI risk: From training to deployment

AI 導讀

OpenAI 釋出長文,介紹其在模型全生命週期中管理前沿 AI 風險的防禦縱深體系,涵蓋模型對齊、安全與沙箱、攔截防護、監控響應四層保護,並按研究、內部部署、外部部署三階段說明各層的作用。

推薦理由

OpenAI 官方逐段說明從訓練沙箱到外部部署的四層防護與各階段安全評審流程,讀者可對照了解前沿模型風險管理如何落地。

管理前沿 AI 風險:從訓練到部署

2026 年 11 月 18 日 · 安全

收聽文章 15:15

音訊 1

分享

前沿模型的能力正在快速提升,而我們理解、對齊並保障其安全的能力必須始終領先一步。我們正在控制模型的開發與釋出節奏,包括在需要更多時間達到安全標準時暫停內部訓練⁠(在新視窗開啟),或暫緩釋出 GPT‑6.1 Astra 等模型。我們引入了安全案例等新流程,並要求在整個訓練過程中提供更有力的對齊行為證據。這些要求會拖慢模型釋出的速度,但也讓我們更有信心安全地向前推進。

自 7 月發生 Hugging Face 事件⁠以來,我們加強了模型訓練、測試和部署環節的防護措施與對齊要求。本文說明我們在每個階段如何評估和管理風險,從高度隔離的訓練環境,到你在自己電腦上使用的 Codex 部署。我們在每個階段都會評估模型和防護措施,必須通過安全審查才能進入下一階段。

覆蓋模型全生命週期的縱深防禦

我們採用縱深防禦策略,設定多層保護,以降低對任何單一防護措施的依賴。如果某一層失效,其他層可以協助防止傷害、限制後果,或向我們發出警報以便介入。

我們的防護體系圍繞四個層面展開:

Image 1: User intent and the Model Spec inform a model response in an expanded alignment layer above security, safeguards, and monitoring.

Image 2: An expanded security layer shows a sandbox within a virtual machine and network boundary restricting access to resources, between alignment, safeguards, and monitoring layers.

Image 3: An expanded safeguards layer routes a request through a safety classifier to allow or block, between alignment, security, and monitoring layers.

Image 4: An expanded monitoring layer shows signals flowing through a monitor and review team to a response, beneath alignment, security, and safeguards.

模型對齊

對齊是指讓 AI 系統可靠地按照我們的意圖行事。模型必須理解使用者的需求,同時遵守政策以及更廣泛的社會利益。我們訓練模型遵循模型規範⁠中的原則,並通過對齊評估、審計以及更廣泛部署前的審查來評估其表現。

安全與沙箱隔離

這些控制措施限制模型可以訪問或影響的檔案、工具、網路及其他資源,有助於在訓練和評估期間控制錯誤或不對齊行為造成的後果。

攔截式防護

這些是額外的防護措施,通過評估使用者請求和模型操作,攔截可能有害或未經授權的行為。其中包括幫助防止網路濫用或協助製造生物武器的安全分類器⁠(在新視窗開啟),以及可以攔截潛在未經授權模型操作的自動審查⁠(在新視窗開啟)。

監控與響應

這些系統負責發現可疑行為、調查事件經過,並在需要時介入。它們提供部署流量的可見性,並能就新出現的風險型別向我們發出警報。

有效的監控取決於模型可監控性,即監控系統能否可靠地從模型的推理和操作中發現錯誤或不安全行為。例如,一個在思維鏈(CoT)中說出自己作弊意圖的模型,比一個隱瞞這一資訊的模型更容易被監控。我們在訓練期間和部署前評估可監控性,開發更好的衡量方法⁠(在新視窗開啟),並研究影響它的因素⁠(在新視窗開啟)。

Hugging Face 事件表明,我們不應只靠沙箱隔離來約束能力極強的模型。現在我們會在大多數內部和外部部署環境中監控前沿模型,包括所有使用工具的內部部署。

在模型開發與部署的三個階段中,每一層的作用各不相同:

  • 研究:我們在沙箱環境中訓練、測試和使用模型。

  • 內部部署:OpenAI 員工將模型用於實際工作。

  • 外部部署:模型向更廣泛的人群和組織開放。

不同階段我們依賴的防護層也不同。訓練期間,對齊尚不確定,我們更倚重沙箱和監控。隨著模型在部署階段獲得更廣泛的訪問許可權,對齊和系統級控制變得越來越重要。在每個階段,我們都會評估各項防護措施合在一起,是否足以匹配模型的能力和訪問許可權。我們的判斷可能會由安全諮詢小組(SAG)複核,並接受 OpenAI 基金會董事會安全與安保委員會(SSC)的監督。

研究期間:將模型限制在沙箱環境中

在研究階段,我們通過評估模型來建立對其對齊屬性的信心。由於目前還不能完全依靠對齊來防止危害,我們高度依賴安全和沙箱機制,限制模型能訪問和操作的範圍。

基於對齊研究、監控系統和網際網路基礎設施安全的現狀,我們認為負責任的做法是在無即時網際網路訪問的條件下進行前沿模型訓練。Hugging Face 事件之後,我們大幅重構了內部研究系統,通過以下方式限制模型:

  • 限制模型許可權的沙箱

  • 用虛擬機器進一步將工作負載與底層計算機隔離

  • 網路和雲邊界,將整個叢集與網際網路切斷

我們持續對這一系統進行紅隊測試,讓由我們最強模型組成的團隊嘗試接入即時網際網路、突破安全邊界,或與它們本應隔離的AI 助理通訊。這有助於檢驗防護措施能否抵禦其要約束的模型能力。

作為額外的防禦層,我們監控所有前沿推理,以檢測模型是否繞過了我們的安全不變數。如果監控發現模型已接入網際網路,我們會呼叫安全團隊並自動暫停該工作負載。

當防護失效時,監控提供了關鍵的兜底。在最近一份失準報告中,我們披露監控曾發現一個內部研究模型利用 DNS 配置錯誤⁠(在新視窗中開啟)獲得了有限的網際網路訪問。9 月 20 日至 10 月 1 日期間,我們暫停了最強模型的訓練和評估,同時調查並修復了這一安全缺口。

為了讓干預快速可靠,我們構建了 Control Room⁠,這是一個集中式系統,可跟蹤研究工作負載,並在收到停止作業指令後 35 秒內停止模型的進一步輸出。這些控制直接在推理基礎設施中強制執行,因此不依賴每個研究工作負載自行實現關停機制。對於前沿模型研究工作負載,如果 Control Room 不可用,它們也會停止模型輸出。

紅隊測試與監控相輔相成。我們無法保證沙箱牢不可破,但紅隊測試能幫我們評估模型需要付出多大代價才能逃逸。模型所需的代價越高,監控方發現並阻止它的機會就越大。

我們在研究階段強制實施嚴格的安全與監控措施,原因有以下幾點:

  • 模型仍在評估中。部分模型尚未完成公開發布所需的安全訓練、對齊審計和審查。

  • **前沿研究環境可能放大風險。**某些研究任務需要更宏大的設定,使模型比外部部署時通常表現得更執著、能力更強(例如,解決納維-斯托克斯問題需要一支由 10,000 個AI 助理組成的團隊)。

  • 大規模訓練時人工監督更少。與典型的 Codex 會話不同,我們的訓練工作負載涉及大量模型操作,沒有專人逐一跟進每次互動。

內部部署:測試對齊,密切監控行為

在廣泛釋出之前,員工會從對前沿模型的沙盒研究使用轉向無沙盒的內部使用,例如在 ChatGPT 中向員工開放該模型。這讓我們更好地瞭解模型在實際場景中的表現⁠(在新視窗中開啟),併為部署決策提供依據。

在這一階段,我們讓模型訪問更廣泛的網際網路、我們的 Slack、程式碼庫和內部基礎設施。這是風險上的重大變化,因為模型的行為現在會直接影響我們構建和執行 OpenAI 所用的系統。在內部部署期間,我們需要更多地依賴模型對齊、系統防護和監控,而非安全控制。

前沿模型在沙箱之外部署之前,必須先經過對齊和可監控性測試⁠(在新視窗開啟)。我們有一套對齊評估,既測試特定的對齊失效模式(例如規避安全與安保限制),也廣泛測量傾向性(例如重取樣內部 Codex 軌跡並檢查是否存在失準)。你可以在最新的GPT‑6 Astra 系統卡⁠(在新視窗開啟)中瞭解更多關於我們對齊與可監控性評估的資訊。

為模擬我們的生產環境,我們增加了一層系統級分類器防禦,旨在防範網路濫用和生物武器化等前沿危害。我們還通常要求使用 Codex 的員工啟用自動審查⁠(在新視窗開啟),該機制會評估潛在風險操作並將其上報給使用者。

最後,在內部部署期間,我們對每一次前沿推理都監控是否存在失準行為。由於模型現在擁有擴充套件的許可權,並能訪問內部資訊和系統,檢測資料外洩或將敏感資料傳送到未授權目的地等風險變得尤為重要。監控還有助於我們調查新形式的失準⁠(在新視窗開啟)。

外部部署:大規模防範濫用與失準

公開部署會讓模型接觸到多得多的使用者、任務和環境,風險的範圍和種類也隨之擴大。到了這個階段,我們還要防範那些蓄意引導模型造成傷害的潛在惡意行為者。

公開發布之前,模型和系統防護措施必須滿足我們的外部部署安全要求。我們通過以下方式評估:

  • 執行更全面的一套對齊與安全評估。對前沿模型,這包括用內部自動化紅隊開展新一輪自適應測試,對模型的穩健性進行壓力測試。我們在系統卡(在新視窗開啟)中公佈能力與安全評估的結果。

  • 對能力最強的模型,我們還會請第三方參與測試,對防濫用措施和模型本身的對齊情況進行壓力測試。

  • 檢查內部部署階段的監控標記,追蹤基礎模型底層對齊狀況的任何變化。

除了“同步”防護措施(例如模型安全訓練和系統分類器),外部部署還依賴離線執法與調查。這些團隊結合規模化AI 助理調查員與人工稽核,識別並鎖定潛在威脅行為者,涵蓋網路濫用、生物武器化、蒸餾以及模型自身的失準等問題。離線執法尤其有助於跨賬號收集資訊,從而更全面地勾勒潛在威脅。

Daybreak、Rosalind等可信訪問計劃提供了又一層安全保障,在加快防禦方和正當研究人員工作的同時,限制潛在攻擊者的訪問。

事件響應與披露

當我們發現某一層安全防護出現失效時,無論是否實際造成傷害,都希望迅速調查、分級,並在可行且適當的情況下對外披露。按照我們的失準報告政策,任何員工都可以標記事件並要求公開披露。這些報告會被調查;如果在是否應對外披露上存在分歧,決定將上報至我們的安全諮詢小組(SAG)。除了依賴員工報告,我們還會主動查詢失準事件,以便處理並分享發現。

你可以在這裡(在新視窗開啟)檢視我們的失準報告。

​


​

這項工作既取決於研究進展,也取決於運營紀律:正確配置控制措施、測試它們之間的相互作用,並在失效時果斷響應。一個配置錯誤的網路服務或一次失敗的自動停止,都可能削弱原本強大的防護。

隨著模型獲得新能力,我們需要不斷質疑防護措施背後的假設,並在必要時加以改進。來自研究、內部使用和公開部署的經驗教訓,必須影響我們如何訓練、評估和部署下一代模型。

我們將繼續通過系統卡、事件報告、內部部署風險報告⁠(在新視窗開啟)以及外部評估⁠分享發現,讓其他人能夠審視我們的做法,包括其中的侷限。當這些證據達不到我們為安全設定的標準時,我們會再次暫停訓練或暫緩釋出,直到滿足這些要求。

相關研究與資源

制定安全標準

定義並評估對齊行為

約束模型並改進保障措施

事件響應與披露

研究進展與應用

作者

OpenAI

來源:OpenAI:官網動態 · openai.com

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論