OpenAI 與四家機構合作,啟動首階段 AI 安全評估
OpenAI 與 Apollo Research、METR、Transluce、Goodfire 簽約啟動首階段嵌入式安全評估
AI 模型可能在訓練或內部使用時出現不符合開發者意圖的行為,外部專家也需要足夠資料才能檢查這些風險。
- OpenAI 與 Apollo Research、METR、Transluce 和 Goodfire 簽約,讓四家機構分別檢查模型行為、內部運作、訓練監控和訓練後評估。依評估需要,專家可接觸部分模型檢查點、程式碼、訓練與評估資料及監控系統。OpenAI 表示,評估方會獨立發布結果,但機密資訊可能刪除。
- 若發現問題可能造成安全風險,也可能延後公開,讓團隊先處理。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
四家機構各自檢查不同的對齊與監控問題,並能接觸部分內部資料;這呈現了深度第三方評估如何取得證據並維持獨立性。
OpenAI:官網動態·2026-11-16 16:00· 10 小時前精選AI 評分64
Our first phase of embedded assessments
AI 導讀
OpenAI 宣佈與四家獨立評估機構 Apollo Research、METR、Transluce 和 Goodfire 簽署協議,啟動首階段嵌入式安全評估。評估專家將獲得模型 checkpoint、原始碼、訓練資料和監控系統等內部資源,分別評估模型暗中違背開發者意圖的可能性、模型內部可解釋性、最大 RL 訓練執行的未對齊行為以及後訓練對齊評測的質量覆蓋。
推薦理由
OpenAI 官方披露了四家獨立評估機構的評估範圍、訪問許可權和釋出規則,讀者可以據此瞭解第三方嵌入式評估的實際運作方式。
我們的第一階段嵌入式評估
聽文章 10:30
分享
我們已與四家獨立評估機構簽署協議——Apollo Research、METR、Transluce 和 Goodfire——開展第一階段的嵌入式評估。隨著 AI 能力快速提升、潛在風險不斷增大,獨立評估的公開報告能讓人們更清楚地瞭解各實驗室如何評估和管理這些風險。
嵌入式評估讓獨立專家在較長時間內深入接觸實驗室的內部模型和系統,評估模型對齊情況以及防護措施的有效性,尤其是在與我們的安全案例相關的方面。根據每項評估的具體需要,評估人員可以訪問我們研究人員使用的一些內部資源,包括模型檢查點、原始碼、訓練和評估資料、監控系統、技術文件,以及與負責相關工作的研究人員和工程師的討論。這樣的訪問許可權讓評估人員掌握證據和背景資訊,從而開展獨立評估,並發現我們可能沒有預料到的失效情況。
我們的初步評估聚焦於模型在訓練和內部使用期間的對齊與防護措施,是對我們安全案例的補充。這些評估建立在我們對第三方評估的優先事項和原則以及多年來與第三方評估機構合作的基礎上,包括最近一次對我們內部監控系統(在新視窗開啟)的試點評估(獲得了深入的內部訪問許可權),以及對Hugging Face 事件(在新視窗開啟)的調查。我們將利用所學到的經驗,在未來幾個月深化與獨立專家的合作。這些工作也支援我們在《白宮超級智慧協議》下作出的承諾,即同意對我們的安全控制措施進行獨立評估。這些合作有助於在整個行業推動形成更強的獨立評估和公開透明共同標準。
我們的試點嵌入式評估機構
Apollo Research
在這次試點評估中,Apollo Research(在新視窗開啟)將評估模型是否會暗中違背開發者的意圖行事,以及我們的防護措施能否檢測到這種行為。評估將依據來自訓練、安全測試和內部使用的證據。Apollo 將分兩個階段評估四項主張:
訓練沒有激勵顛覆行為。
嚴格的評估和紅隊測試不會誘發顛覆行為。
模型在內部使用期間沒有嘗試過顛覆行為。
顛覆行為背後的推理過程可以被檢測到。
在 Apollo 評估的第一階段,我們將提供選定公開模型和未釋出模型及訓練檢查點的訪問許可權、相關訓練資料和評估結果、訓練干預記錄、監控系統和被標記的行為,以及能夠提供背景資訊的研究人員,並提供開展獨立測試所需的工具和算力。
Goodfire
Goodfire(在新視窗開啟)將派駐可解釋性研究人員,並使用 Goodfire 平臺分析模型內部結構。其評估的主要目標是訓練執行監控、除錯和對齊。評估的主要受眾是 OpenAI 內部研究人員,他們將利用評估發現來改進安全性。Goodfire 還將在合作推進過程中公開發布經驗教訓和評估發現。
METR
我們計劃與 METR(在新視窗開啟) 開展兩項評估,分別聚焦模型對齊與監控:
對齊評估:第一階段,METR 將評估我們迄今規模最大的強化學習訓練中出現的失準行為,包括現有測試和監控可能漏掉的失敗情形。在選定的訓練執行以及雙方商定的訪問許可權、資源和安全安排範圍內,METR 將獨立確定評估重點,並反覆開展搜尋、分析和誘導實驗。可訪問的內容包括對該訓練執行抽取相關檢查點、訓練與評估的 rollout,以及失準監控記錄。第一階段的評估將聚焦我們規模最大的前沿強化學習訓練執行。1
監控評估:我們近期與 METR 合作開展了一次監控壓力測試演練2。我們已初步同意再進行一次監控評估(在新視窗開啟),並希望範圍更廣,但這還有待雙方就評估範圍達成一致。
Transluce
Transluce(在新視窗開啟) 將對我們訓練後對齊評估做一次初步評估,考察其質量和覆蓋範圍。初步評估階段,我們將向 Transluce 開放部分公開模型和未釋出模型、我們的訓練後對齊評估及相關結果、支撐模型行為的資料和安全論證文件,並提供可說明背景的研究人員,以及開展獨立測試所需的工具和算力。
OpenAI 與 Transluce 還計劃在 2027 年初開展一次約八週的後續評估,屆時將開放更多模型、更深入地訪問我們的對齊評估,並提供評估結果如何影響模型釋出決策的資訊。
嵌入式評估的協議
我們參考評估方的意見,制定了一套協議和流程,在深度訪問與安全、保密、監督以及評估的獨立性和完整性之間取得平衡。我們公開這些內容,是為了說明我們將如何與嵌入式評估方合作,並推動關於嵌入式評估規範的討論——這一領域目前尚無統一標準。隨著我們對如何最好地開展這類評估有了更多認識,這些協議和流程預計也需要不斷演進。尤其在嵌入式評估的早期階段,我們預計會遇到技術訪問難題、空間限制、不斷變化的安全協議以及其他意外問題。我們希望與嵌入式評估方協作應對這些挑戰,並分享經驗教訓。
範圍界定與迭代
每次合作都從商定評估範圍開始,並確定開展嚴格評估所需的訪問許可權、資源和安全安排。有些評估針對具體的安全主張;另一些則給評估方留出空間,在既定系統或訓練執行內發現意料之外的失效模式。無論哪種情況,評估方都需要自由地循證據推進、改進方法,並在發現結果支援時提出進一步評估。我們還建立了流程,在評估推進過程中處理額外的訪問需求。當直接訪問可能暴露我們最敏感的 IP(例如模型權重或架構)時,我們會考慮替代方案,包括讓評估方與 OpenAI 研究人員配對開展分析。
安全、現場的環境
需要接觸敏感機密資訊的評估人員將在 OpenAI 辦公場所現場工作,並獲得 OpenAI 裝置來開展工作。主要目的是保護其所接觸資訊的安全。現場工作也讓評估人員有機會與專職人員交流,這些人員可以幫助他們熟悉訪問許可權,併為其評估提供背景資訊。我們還期望我們的嵌入式評估人員在開展實驗和評估時,至少遵循與 OpenAI 員工3相同的安全標準。
監督與爭議解決
我們的安全與安保委員會(SSC)是 OpenAI 基金會董事會的獨立監督委員會,將能夠了解嵌入式評估的情況,並有權在評估開始前、進行中和結束時行使監督職責。他們將收到未經刪減的報告,評估人員和 SSC 在評估期間可以相互溝通,包括私下溝通。OpenAI 與任何評估方之間的分歧將上報至安全諮詢小組和 OpenAI 高管,後者將在規定期限內解決,分歧一經上報,SSC 會立即收到通知。如果分歧仍未解決,該事項將提交 SSC 裁決。
員工討論與證明
與員工討論有助於評估人員理解內部資訊和工作背景。OpenAI 將授權並指導可接受評估人員訪談的員工,評估人員也可根據需要請求增加訪談物件。為鼓勵坦誠交流並保護員工隱私,這些討論不做記錄,這意味著討論內容可用於評估,但不得公開發表或歸因於具體員工。通過單獨的證明渠道,評估人員可以請求 OpenAI 出具證明,以核實、更正或澄清他們在與員工交談中瞭解到的情況。這些證明不歸因於個人,也不旨在描述個人觀點。評估人員可以公開發表 OpenAI 予以證明的陳述,或披露 OpenAI 拒絕證明某項陳述。
利益衝突披露與冷卻期
清晰、透明地管理利益衝突——包括涉及個人關係、財務利益4及其他問題的衝突——對於評估的誠信與獨立性至關重要。冷卻期5也需要精心設計,使評估人員能夠在各實驗室之間負責任地工作,同時謹慎處理競爭性資訊。我們正與評估人員合作,為利益衝突和冷卻期制定清晰的流程,包括在緩解措施上允許靈活性,並在要求迴避的決定上保持透明。
釋出與負責任披露期
評估人員獨立釋出其評估結果,但我們將保留對機密資訊進行刪改的權利,這與我們此前的第三方合作做法一致。我們還可能要求延遲負責任披露,以便有時間針對可能構成安全或安保風險的發現採取行動,並修復仍存在的問題。
公開報告有助於公眾理解評估發現及其侷限,而更詳細的保密報告則為監管機構提供採取行動所需的證據。我們希望這些評估能改進我們識別和應對風險的方式,也讓公眾在評判我們的安全工作時有一個更清晰的依據。
展望未來
這些評估為我們持續推進的對齊與安全工作帶來了獨立視角。公開報告評估發現,會讓這項工作更加透明,也能讓人更放心地瞭解風險是如何被識別和應對的。我們預計首階段的評估將逐步發展為長期、穩定、常駐式的合作,持續提供第三方安全訊號,並就我們最關鍵的安全主張和安全論證提出改進建議。
我們將繼續與多家獨立第三方合作,幫助構建一個健康的評估生態,匯聚多元的專業能力和方法。有些調查需要針對敏感系統開展持續的現場工作;另一些則主要評估已部署或即將部署的模型,或審閱公開文件。
未來幾個月,我們將支援圍繞更廣泛安全問題的外部評估。我們也在探索未來的常駐式評估,考察我們對安全框架的遵守情況,以及組織文化和流程。我們致力於擴大這項工作,並幫助建設維持這項工作所需的能力和共同標準。
作者
OpenAI
腳註
- 1 這一範圍比 METR 在其對齊評估提案(在新視窗開啟)中勾勒的範圍要小,後者設想的是對失準問題進行廣泛調查。
- 2 我們最近與 METR 開展了一次為期三週的監控紅隊演練,期間他們可以訪問我們的程式碼庫、監控器、相關軌跡,並與 OpenAI 研究人員交流,目的是更好地理解我們的監控器。https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/(在新視窗開啟)
- 3 在某些情況下,會根據實驗條件適用更嚴格的標準,以便進行細緻的安全審查。
- 4 Apollo Research 和 Goodfire 因工作獲得經濟報酬,但報酬不以評估結果為依據。METR 和 Transluce 不接受評估的經濟報酬,但可能接受 API 額度/算力用於其評估工作。我們認為接受經濟報酬並不妨礙評估方保持獨立性,但認為披露這一點很重要。
- 5 我們要求參與常駐式評估的第三方機構員工,在嵌入另一家 AI 開發者之前遵守一段短暫的冷卻期,以降低無意洩露機密資訊的風險。
來源:OpenAI:官網動態 · openai.com