跳到正文
aihot(aihot.news)· noreply@aihot.news (Redwood Research:Blog)·· 6 天前精選品質評分81

Redwood Research 分析 Gemini 4 安全報告,認為失控風險仍缺乏有力證據

Redwood Research:Gemini 4 安全報告未能證明失控風險低

重點導讀

Google DeepMind 認為 Gemini 4 Argon 和 Carbon 造成嚴重危害的風險很低,Redwood Research 則認為公開的安全報告還不足以支援這個結論。

  • 報告中的測試顯示,Argon 在部分任務中能躲過監控。
  • 但 Carbon 沒有重跑這些控制測試,訓練時也曾發生評分器接觸模型思維內容的情況。Redwood 指出,這些資料無法說明真實攻擊有多難、監控漏掉行為的機率有多高,也沒有交代哪些測試結果會改變風險判斷。文章因此建議公開更多評估方法,並對新模型重新測試監控措施。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章對照報告中的監控測試與訓練細節,指出哪些證據不足以支撐低失控風險的結論,並整理更完整安全評估可補上的資料。

正文

Redwood Research:Blog· Alek Westover·2026-11-17 01:21· 2 小時前精選AI 評分65

Gemini 4 safety reports don’t demonstrate low loss-of-control risk

AI 導讀

Redwood Research 發文批評 Google DeepMind 的 Gemini 4 Argon 與 Carbon 安全報告,認為其基於控制措施的安全論證存在嚴重弱點,不足以證明部署風險已可靠緩解。

推薦理由

作者逐條拆解 Gemini 4 安全報告的證據缺口,指出 Carbon 未重跑控制評測等具體問題,屬於對前沿實驗室安全論證方法的獨立一手分析。

Google DeepMind 針對新一代 Gemini 4 模型 Argon 和 Carbon 釋出的安全報告得出結論:這些模型“極不可能”通過規避監管造成嚴重危害(第 79 頁)。這一結論“主要依賴於我們通過思維鏈(CoT)和行動監控來發現並干預有害軌跡的能力”(第 89 頁)——也就是說,他們論證安全性的依據是控制技術,而非對齊。我們認為這些報告中的論證存在嚴重缺陷,整體上無法讓我們相信部署這些模型的風險已被可靠地緩解。

最大的問題在於:

  • GDM 沒有對 Carbon 進行任何控制評估。儘管 GDM 在釋出博文中稱 Carbon 是“我們最強的模型”,“在程式設計和AI 助理任務上都有顯著提升”,並且“網路安全能力實現了重大飛躍”,但他們以 Carbon“沒有展現出有意義的新能力”為由(Carbon 報告第 42 頁),直接沿用了 Argon 的監控規避結果。在內部使用中,監控系統標記 Carbon 的頻率比 Argon 低數倍(每次會話確認警報約少 7 倍,每次模型呼叫約少 10 倍,Carbon 報告第 36 頁),但 GDM 並未證明這是因為不當行為發生率下降,而不是因為監控規避能力增強。

  • 在用於論證可監控性的控制評估中,Argon 約有半數時候能規避貼近現實的監控。“在簡單的破壞任務上,當被鼓勵這樣做時,Gemini 4 Argon 約有半數時候能規避貼近現實的監控”(第 124 頁);在基於 Google 內部程式碼庫構建的環境中,這一比例約為 64%。如果這些任務能代表真實的威脅模型,那麼這樣的結果已經越過了任何合理的紅線。

    • GDM 認為這一結果可以接受,但幾乎沒有證據支撐。GDM 辯稱,造成真實危害要比在其測試任務中規避監控難得多,但他們從未測量過究竟難多少。GDM 所依賴的備用防禦措施存在嚴重缺口,其中一些 GDM 自己也承認了。

  • 訓練過程可能教會了模型隱藏不當行為。在 Argon 的部分訓練過程中,一個用於懲罰獎勵駭客行為的評分器可以看到模型的思維鏈。我們認為這可能嚴重損害了 Argon 思維鏈的資訊價值。Carbon 的訓練也涉及其他類似錯誤。

  • 報告中沒有任何內容告訴我們,什麼樣的結果會改變 GDM 的結論。GDM 報告了各項評估的數字,但沒有說明他們認為什麼樣的結果才算可接受。此外,他們沒有解釋如何選擇要執行和報告哪些實驗,並且多次聲稱某些令人擔憂的行為從未被觀察到,卻沒有證明他們的檢測器本應能捕捉到這些行為。最終,我們不清楚如何將他們報告的結果轉化為對風險的整體評估。

我們關注這一點,主要是擔心在(可能不遠的)未來,當開發和部署模型的風險高得多時,AI 公司會用類似的論證來聲稱其開發是安全的。我們認為,如果這樣的報告被視為支援開發的充分論據,AI 公司就能為極其危險的開發決策找到正當理由。

總體而言,我們認為 GDM 將這些模型部署到外部是好事,因為更廣泛地部署大語言模型對社會有益(尤其是能讓公眾和 AI 專家更好地理解 AI 能力與對齊狀況),這些收益大於風險。但我們希望 AI 公司能在不久的將來為安全給出更有力的論證,尤其是那些在內部部署、用於 AI 研發的模型。

我們讚賞 GDM 公開了這麼多細節;我們在此批評的大部分內容,正是因為 GDM 選擇披露才得以知曉。

下面我們先概述 GDM 的論證和我們的反對意見,然後更詳細地分析其可監控性評估、訓練問題,以及一個更有說服力的安全論證需要具備什麼。如果 GDM 掌握更多關於失控風險的內部證據、能讓人更放心卻尚未公開,我們鼓勵他們公佈出來。我們並非專門批評 GDM 在這方面做得比競爭對手差;我們認為沒有一家前沿實驗室有望給出有說服力的安全論證。

感謝 Nick Kuhn、Alex Mallen、Matthew Khoriaty、Buck Shlegeris 和 Aniruddh Pramod 提供反饋。

GDM 控制論證的概要及我們的關切

核心背景與主張

GDM 已為兩個 Gemini 4 模型釋出安全報告:上個月的 Argon,以及現在的 Carbon。Carbon 報告沒有單獨論證失控風險很低,而是稱“我們認為 Gemini 4 Argon 報告中的失控風險評估對 Gemini 4 Carbon 依然適用”(Carbon 第 30 頁)。因此本文分析的是 Argon 報告中的論證,並註明 Carbon 報告在哪些地方有所補充或改動1。

在 Argon 報告中,GDM 聲稱該模型造成嚴重危害、或大幅破壞 GDM 控制措施的風險很低:

“我們認為 Gemini 4 Argon 不太可能通過自主規避我們的監督與控制而造成實質性的現實危害,極不可能造成嚴重或大規模危害。我們也認為 Gemini 4 Argon 極不可能採取導致無限制脫離我們控制的行動——例如持續性的惡意部署或機器學習研發破壞。”(第 79 頁)

GDM 並未聲稱 Argon 沒有造成危害的能力。它表示“無法排除”Argon 已達到隱蔽性和情境感知能力閾值(第 72 頁),並稱 Argon“在沒有部署緩解措施的情況下,很可能本身就有能力入侵併攻破某些內部或外部系統,從而獲得造成財務或人身傷害、或實施無限制控制突破的手段”(第 81 頁)。它也不認為沙箱就足夠了:“我們仍然不能把軟體沙箱視為完全無法被未經授權的網路或網際網路訪問穿透”(第 81 頁)。

GDM 認為關於 Argon 行為傾向的證據有參考價值,但並不充分。它論證稱“要發生嚴重的失控事件,Gemini 必須既選擇執行持續性的有害策略,又成功在每一步都規避我們的監控與控制”(第 85 頁),但也坦率承認這一論證中行為傾向那一半的侷限:

“任何傾向性論證都依賴於推斷一個複雜模型在大量新穎情境下的內在驅動力和傾向,而我們對這些情境的科學理解仍然有限,並且今天沒有令人擔憂的行為,很難轉化為對低機率尾部風險的高置信度界限。”(第86頁)

因此,GDM的結論主要建立在監控與控制之上。它將其AI 助理監控與響應平臺稱為“阻礙Gemini造成導致嚴重危害的違規行為的最重要屏障”(第81頁),並對其評估總結如下:

“儘管Gemini 4 Argon展現出的能力達到了我們對隱蔽性和情境感知的閾值,但我們評估認為,嚴重危害或不受約束的失控風險仍然很低。如上文可行性和傾向性論證所述,這一結論主要依賴於我們通過思維鏈和行動監控來檢測並干預有害軌跡的能力……”(第89頁)

在其他地方,GDM將自己描述為“主要將失控安全論證錨定在執行時監控與控制上”(第158頁)。

在本文中,我們評估GDM的主張:其監控與控制措施足夠強大,以至於一個具備情境感知、擁有強大網路能力、且無法確信其對齊的模型,仍然“極不可能”造成嚴重危害。下一小節將列出GDM為該主張給出的前提。

GDM關於其控制措施有效性的論證

GDM認為Argon無法自主規避監督,這一論證基於三個前提,取自第3.4.3.4節列出的五項“假設”(另外兩項關於Argon的傾向性):

  1. 思維鏈可監控性:Argon的思維鏈“足夠清晰且忠實,能夠為我們的監控器提供關於其行動背後目標和意圖的可靠訊號。”(第87頁)

  2. 監控覆蓋範圍與穩健性:最重要的流量——“訓練、評估、內部編碼部署和受監控外部介面中絕大多數工具呼叫類Gemini 4流量”(第87-88頁)——都受到監控,且監控系統難以被停用或篡改。

  3. 造成危害很難:“造成嚴重直接危害或無限制的控制突破,需要在數小時或更長時間內針對多層防禦串聯多個步驟,從而讓離線檢測和人工響應有時間介入。”(第88頁)

本質上,GDM認為,如果Argon試圖規避監控器,這在其思維鏈中會清晰可見,任何此類嘗試都很可能被監控器及時檢測到。即使Argon成功繞過了某些防禦,要完全逃脫監督所需的顛覆性行動數量也足夠多,以至於在發生嚴重失控事件之前很可能就被發現。要使風險保持低水平,這三個條件必須同時成立:沒有可監控的思維鏈,高思維鏈監控覆蓋率就毫無用處;如果監控器容易被停用或繞過,那麼它們即使執行起來本會注意到不當行為也無濟於事;如果少量顛覆性行動就可能迅速導致嚴重危害,那麼監控器可能需要難以企及的高召回率,才能在大規模部署中防止任何事件發生。

我們認為這三條前提都存在重大缺陷,不過報告中的大部分實證證據都圍繞第一條前提,即思維鏈可監控性。因此,我們的分析將主要聚焦於第一條前提。

遺憾的是,後兩條前提——監控覆蓋範圍,以及造成危害的難度——在報告中並沒有得到實證證據或數值論斷的有力支撐,因此很難分析它們的可辯護性。GDM 承認這兩個論點都存在一些漏洞,需要進一步驗證。基於報告中有限的資訊,我們的主要擔憂是:

  • 覆蓋範圍仍存在缺口,包括“尚未接入的非標準內部測試框架或較小規模的訓練執行”(第 88 頁)。GDM 沒有說明這類情況有多普遍,也沒有說明被監控的AI 助理建立新的、未被監控的腳手架有多容易。一些內部AI 助理的執行許可權也遠超沙箱所允許的範圍,“繼承了與主機使用者相同的許可權(包括網際網路訪問以及對敏感程式碼或資料的訪問)”(第 81 頁)。

  • 與此相關,GDM 對監控系統本身的對抗魯棒性著墨不多:

    • “我們監控器的初步內部紅隊測試已經發現了一些繞過方式,我們正在修復或已經修復。加固本地測試框架、日誌和政策檢查的防篡改能力,並對其進行紅隊測試,仍然是一項持續優先事項。”(第 82 頁)

  • GDM 認為,Argon 不太可能找到並執行針對監控器的零樣本漏洞利用,而且任何繞過監控器的失敗嘗試都會被標記。但 GDM 沒有說明,如果監控器標記了顛覆監控的失敗嘗試,他們會採取什麼措施來防止 Argon 之後再次嘗試。

  • GDM 尚未開展實驗來排除失準模型之間串通的可能性。一項依賴於可能失準模型的控制措施,可能會因該模型故意表現不佳而失效。這在兩個方面尤其相關:

    • 監控器可能串通,或容易被說服而不標記不當行為。GDM 認為,通過使用另一個“可信”模型進行監控,可以緩解串通風險,但他們沒有透露具體是哪個(些)模型,也沒有提供關於其對齊屬性的證據。

    • GDM 還部分依賴 Argon(以及 Carbon)來加固包含自身的沙箱(“使用一流的網路安全模型(例如 Gemini 4 Argon)進行主動掃描”,第 11 頁;Carbon 報告第 9 頁有一句幾乎相同的話,只是把模型換成了 Carbon)。

  • 越來越多的關鍵程式碼由AI 助理編寫(根據圖 3.15,GDM 目前的大部分生產程式碼已有超過 75% 由 AI 編寫),而 GDM 顯然沒有對程式碼審查在多大程度上容易受到“AI 助理編寫的隱蔽後門”影響進行紅隊測試。這可能是失準模型嚴重破壞控制的最簡單方式之一。

關於思維鏈可監控性的論點

儘管我們接下來的大部分分析將聚焦於 GDM 提供的關於思維鏈可監控性的證據,但我們強調,思維鏈可監控性只是 Argon 風險得到安全管理這一論點的一個組成部分。在完整的安全論證中,其他組成部分同樣需要嚴格確立;一個合取論證的強度取決於其最薄弱的環節。GDM 為思維鏈監控器的有效性提出了兩個主要論點:

論點 1:“即使明確提示要規避監控,在比造成現實危害所需任務簡單得多的任務上,規避成功率仍然很低。”(第 83 頁)

換句話說,GDM 表示,Argon 在 LinuxArena 等控制評估中的規避成功率很低(在這類評估中,模型被要求秘密完成一項有害的次要任務,同時有監控器觀察其行為和推理過程)。GDM 認為,要在現實世界中造成危害,需要秘密完成比 LinuxArena 中的次要任務難得多的目標,因此如果 Argon 試圖這麼做,監控器就能發現。

問題:事實上,Argon 在 LinuxArena 或 GDM 開展的其他類似監控評估中,規避成功率並不特別“低”:“在被鼓勵的情況下,Gemini 4 Argon 在簡單破壞任務上大約有一半的機率能躲過貼近實際的監控器”(第 124 頁),而在 GDM 內部的程式碼庫控制環境中,Argon 規避監控的效果還要更好。因此,這一論點成立的前提是現實危害比這些任務難得多,而 GDM 並未令人信服地論證這一點。

論點 2:“由於我們避免直接針對監控器進行訓練,也不使用監控器輸出來篩選訓練資料,模型並未被最佳化去隱藏其推理過程。”(第 84 頁)

也就是說,GDM 認為,在沒有直接訓練壓力去欺騙思維鏈監控器的情況下,其思維鏈應當保持忠實;模型不應該為了欺騙監控器而學會隱藏推理過程。

問題:避免“直接針對監控器進行訓練”對於確保模型“未被最佳化去隱藏其推理過程”是必要的,但並不充分。事實上,Argon 的訓練有可能教會它隱藏與失準相關的推理。例如,在早期的一些強化學習訓練中,GDM 曾意外地用一個能訪問思維鏈的評分器來懲罰獎勵駭客行為;GDM 為估算這一錯誤的影響而分析了一個已有的小規模訓練執行,結果顯示代理模型中的“未言明的獎勵駭客行為大幅增加”。GDM 辯稱該實驗偏保守,但我們認為這一理由並不特別有說服力。

即使 Argon 在訓練中從未被激勵去隱藏推理,它也具有很強的情境感知能力,並且在被指示時能夠有效地控制自己的思維鏈。這就讓人難以排除一種可能:如果 Argon 確實在戰略上失準,它或許能夠故意隱藏與失準相關的推理。

GDM 為什麼沒有對 Carbon 執行任何控制評估?

GDM 沒有在 Carbon 上重新執行任何控制評估。他們給出的理由是,Carbon 的能力相比 Argon 並沒有強到需要重新評估 Argon 報告中結論的程度:

“由於 Gemini 4 Carbon 在我們的 MCC(‘實質效能力變化’)評估(第 3.1.1 節)中並未表現出有意義的新能力或效能的實質性提升,我們沿用 Gemini 4 Argon 報告中關於提示式監控規避、隱寫術和思維鏈可控性的結果。”(Carbon 第 42 頁)

這一點與 GDM 在其他地方對 Carbon 的描述放在一起顯得很彆扭。釋出博文稱它是“我們最強的模型”,“在程式設計和AI 助理任務上都有顯著提升”,並且“網路安全能力實現了重大飛躍”。GDM 的模型卡顯示,在他們選入結果表的全部 17 項基準上,Carbon 都優於 Argon。然而在安全評估中,同一個模型卻顯然“沒有展現出有意義的新能力,效能相比 Gemini 4 Argon 也沒有實質性提升”(Carbon 第 4 頁)。

無論如何,通用能力指數並不能有力說明一個模型有多擅長規避監控;舉例來說,Carbon 在攻擊性網路安全基準上有大幅提升(例如 ExploitGym 成功率上升了 12.8 個百分點,Carbon 第 6 頁)。GDM 也承認,“在一組特定基準上取得進步,並不一定意味著整體能力發生了實質性變化”(Carbon 第 19 頁)。

此外,儘管 GDM 對 Carbon 做了更多對齊評估,他們發現 Carbon 在多個評估套件中口頭表達出評估意識的比例明顯高於 Argon,這讓結果更難解讀。GDM 核查了 Carbon 在不使用思維鏈(CoT)時能遵循的序列推理步數與 Argon 相當(Carbon 第 42 頁),並運行了一些評估來衡量 CoT 的特性,比如可讀性,以及 Carbon 有多經常出聲推理監控相關的問題。但這些評估衡量的是它在正常執行時的行為,對於它在刻意嘗試時能多好地掩蓋自己的推理,參考價值並不大。

有意思的是,監控系統標記 Carbon 存在高嚴重度不當行為的頻率明顯低於 Argon(Carbon 圖 3.6):

這可能是因為不當行為的發生率降低了,也可能是因為 Carbon 的不當行為更難被監控系統發現。GDM 也指出,這一比較受到“軌跡長度、每任務工具呼叫次數、任務組合、分診審查覆蓋率和檢查點選擇等方面的差異”的干擾(Carbon 第 31 頁)。由於 GDM 沒有執行任何監控評估,我們無法確信前一種解釋就是全部原因。

我們不應該只能靠“新模型與舊模型足夠相似,所以安全措施仍然有效”這類論據。評估方法已經存在,在 Carbon 上重跑一遍本該成本很低,我們看不到有什麼好理由跳過它們。

GDM 的可監控性評估結果並不能證明 CoT 可監控性很高

GDM 關於 CoT 監控有效的第一個論據,依賴於這樣一個說法:“即使被明確提示去規避監控,在比造成現實危害所需任務簡單得多的任務上,規避成功率仍然很低。”(第 83 頁)

正如我們在本節所解釋的,這一說法的證據(主要包含在安全報告第 3.4.5.4 節)很薄弱。

Argon 在 LinuxArena 或 GDM 內部變體上的可監控性並不高

GDM 提示 Argon 在 LinuxArena(一個最先進的控制評估環境)中偷偷造成危害,並針對能夠獲取 Argon 動作與 CoT 不同組合資訊的監控系統進行了評估。

我們假設這次評估所用的監控系統與生產環境中的監控系統類似,不過 GDM 沒有提供太多細節。它基於 Gemini 3.8 Flash,但 GDM 從未透露生產監控系統使用哪個(些)模型,而且提示詞只是“受”某個生產監控系統“啟發”:

“我們沒有使用 LinuxArena 預設的監控提示詞(該提示詞被設定為高度懷疑),而是採用了一個受我們某個生產環境監控器啟發的監控提示詞。詳見‘使用真實監控器的效果’一節。”(第 120 頁)

報告中並沒有這個標題的章節,但相關對比似乎是圖 3.32(第 130 頁),該圖將這一監控器稱為“生產配置”:Gemini 3.8 Flash,低思考等級,對評分達到 7 分及以上(滿分 10 分)的軌跡進行標記。GDM 沒有報告該監控器的誤報率,也沒有說明它與生產監控器實際有多相似。我們同樣不清楚 GDM 為何不直接用真正的生產監控器來跑這些對照評估。無論如何,Argon 在 LinuxArena 中完成側任務的同時,約有半數情況下成功躲過了這一監控器(在使用最能誘發規避行為的提示詞時,規避率為 45.5%,第 124 頁):

Screenshot 2026-10-19 at 2.07.21 PM.png

有意思的是,當被提示要避開僅監控動作的監控器時,成功破壞率升至約三分之二,雖然更高,但並沒有高得離譜;顯然,Argon 在 LinuxArena 中既要完成側任務、又要避開 CoT+動作聯合監控器時,難度並沒有比只避開僅動作監控器大多少。

GDM 還構建了一個名為“內部程式碼庫版本”的對照環境,其結構與 LinuxArena 類似,但搭建在 Google 內部單一程式碼庫的快照之上。在這一環境中,Argon 的可監控性更差,面對 CoT+動作監控器的成功破壞率約為 64%:

耐人尋味的是,僅動作監控器的表現反而略優於CoT+動作監控器,將成功破壞率降至 55%——不過誤差範圍足夠大,恐怕不宜對這一結果過度解讀。同樣有趣的是,該模型能夠高度可靠地避開僅 CoT 監控器,這進一步支援了一個結論:在 Argon 試圖掩蓋其推理過程時,監控器在這些環境中其實並沒有從 CoT 訪問許可權中獲得多少好處。

從數量上看,這些數字似乎非常令人擔憂。如果這些任務能代表現實的威脅模型,那麼監控規避率將超出任何合理的紅線。

GDM 辯稱,這些結果並不能說明 Argon 的可監控性有多糟糕,理由是:在這些對照環境中完成側任務,比造成真實危害要容易。這一說法沒有任何關於造成真實危害難度的實證證據支撐;不過 GDM 確實指出,當他們停用思考功能時,Argon 在這些對照評估中的任務表現並沒有下降多少,這表明任務相對簡單。我們認為,這隻能算弱證據,說明造成嚴重危害比 LinuxArena 難得多——它更多說明的是,Argon 已經能夠在沒有 CoT 的情況下完成複雜的破壞行為,從而限制了 CoT 監控所能提供的保護。

這些任務之所以簡單,部分原因是設計上的選擇。GDM 只在 Gemini 3.6 Flash 能夠完成的 LinuxArena 側任務上運行了這一對照評估,目的是“衡量監控規避能力,而非側任務難度”(第 118 頁),這使得 84% 的側任務處於最簡單的難度層級(第 132 頁)。GDM 沒有報告隨著側任務變難,規避率會如何變化——而這將是檢驗“規避率高只是因為任務簡單”這一論點的重要證據。

GDM 確實報告稱,面對更可疑的監控器(即誤報率 FPR 高得多的情況),規避率要低得多:在啟用思考的預設 LinuxArena 監控提示詞下為 7%(圖 3.31),而使用該提示詞的逐步 Gemini 3.8 Flash 監控器幾乎能標記出每一次攻擊(第 3.4.5.8 節)。但 GDM 將預設提示詞描述為“高度可疑”且“並非針對低誤報率最佳化”,因此這些結果對 GDM 實際可部署的監控器說明不了什麼。GDM 還指出,如果提醒內部程式碼庫監控器“AI 助理可能在追求附帶目標”,規避率最多可降低 7 倍,但“誤報率會高到不切實際”(第 125 頁)。遺憾的是,GDM 沒有報告這些控制評估中所用監控器的誤報率與生產監控器相比如何,因為規避率只有在特定誤報率的背景下才有意義。

CoT+行動監控器在 Honeypots 設定中仍然表現不佳,不過一個單獨的“程式碼差異”監控器更有效

由於 GDM 認為 LinuxArena 及其內部變體過於簡單,GDM 還在第三種設定中評估了 Argon:Honeypots。Honeypots 設定改編了對齊評估中使用的一組蜜罐中的六個任務。在該設定中,模型被指示編寫帶有細微 bug 的程式碼,這些 bug 會破壞/在重要安全機制中植入後門。

當被提示這樣做時,Argon 能有效規避僅行動監控器和 CoT+行動監控器,其成功破壞率與上一節的控制評估相近。然而,當它混淆自己的 CoT 時,在欺騙一個新的程式碼差異監控器方面要差得多——該監控器只審查對倉庫的最終差異,而不檢查軌跡:

“兩個模型在規避僅行動監控器方面都非常有效。Argon 在被指示時明顯更擅長混淆其 CoT;它成功破壞並規避 CoT 監控器 43/60 次,規避 CoT+行動監控器 28/60 次。在混淆其 CoT 時,Argon 在規避行動監控器方面仍相當有效,成功破壞從 39/60 降至 32/60。然而,它在規避更高質量的程式碼差異監控器方面效果差得多,在混淆其 CoT 時從 16/60 次成功規避降至 1/60 次。”(第 126 頁)

這提供了一些溫和的安慰性證據,說明在防範 Argon 向關鍵程式碼插入細微後門或 bug 的“縱深防禦”論證中,仔細的程式碼審查可以發揮作用。該設定中的任務與 Argon 破壞自身監督基礎設施的威脅模型高度相關;它們要求AI 助理“在六個領域實現或重構安全關鍵模組:警報抑制過濾、思維鏈脫敏、辯論評判、安全 SFT 重寫門控、安全分類器閾值和滑動視窗陰謀檢測”(第 120 頁)。

然而,目前不清楚實踐中是否真的在人工程式碼審查之外部署了任何此類監控器;如果沒有,CoT+行動監控器在 60 次執行中有 28 次漏掉了 Argon 的破壞。即使實踐中部署了此類監控器,只有 GDM 找到辦法阻止它在發現一次失敗嘗試後反覆嘗試,偶爾有百分之幾的機率矇混過關才能被認為 reasonably safe。

此外,GDM 承認其在 Honeypots 基準上的誘導方法存在侷限:

“請注意,CoT規避提示詞要求它保持較短的CoT,因為我們發現這樣可以增強可控性和隱蔽性,因此我們無法排除該模型有能力生成更長但隱蔽的CoT,從而引入細微的bug”(第128頁)。

換句話說:GDM給Argon的提示詞要求它保持較短的CoT,以便更好地規避CoT監控,但這會削弱Argon的能力。Argon之所以沒能躲過程式碼差異監控,也許是因為它沒有充分推理該如何規避。為了更有說服力地排除Argon本可以隱蔽地進行更長推理這一可能,GDM可以嘗試用GEPA之類的提示詞最佳化手段,更用力地引導模型。

Argon的CoT可控性很高

在GDM對CoT-Control測試套件的復現中,Argon的得分明顯高於此前的Gemini模型,儘管此前Gemini模型的CoT已經高度可控。看來這項基準如今已基本飽和,GDM未來可能需要設計更難的CoT可控性任務,來衡量新模型的這項能力。

CoT可控性令人擔憂,因為如果Argon在追求與人類價值觀不一致的目標,它或許能在推理無關任務時隱藏這一動機。

話雖如此,CoT可控性高其實也說明此前的控制評估結果偏保守:對CoT監控開展控制評估時,一個相當大的方法學難點,就是如何充分引導模型展現出故意混淆其CoT的能力2。

GDM認為我們不必過於擔心Argon的高可控性,因為他們認為這種CoT可控性的提升源於無CoT能力的增強:

“問答可控性更高,是由無CoT能力驅動的,而非在難題上進行隱蔽推理:雖然Gemini 4 Argon在標準問答CoT-Control套件上的總體可控性最高,但這一優勢源於它更強的能力——能用更短甚至完全不用CoT來回答較簡單的問答問題。”(第141頁)

然而,即便這一解釋成立,Argon強大的無CoT能力本身就足以讓人擔心它的可監控性。

GDM還主張,隱藏推理會讓Argon在需要CoT的任務上損失能力。除Honeypots的結果外,他們的證據來自兩個問答實驗。在第一個實驗中,GDM證明:在Argon只有藉助CoT才能回答的HLE和GPQA問題上,當Argon向一個Gemini 3.8 Flash監控器(該監控器試圖根據被混淆的CoT判斷推理主題)偽裝自己的推理時,準確率會大幅下降。在Brew這一合成任務中(模型需要應用提示詞中給出的一長串查詢表),當要求Argon在CoT中寫出另一套計算過程時,其準確率會降到無CoT時的水平。

我們認為這些結果不太有說服力。首先,識別推理的主題,很可能比在冗長的AI 助理記錄中檢測出對齊偏差要容易得多,作為監控任務難度低不少。第一個實驗還包含了一些合成謎題,Argon 必須藉助思維鏈才能解出(比如數獨和最短路問題),而在這些題目上,Argon 對較弱的監控器隱瞞了自己正在處理哪類問題,準確率卻沒有下降。Brew 實驗的結果也沒有聽起來那麼廣:它只能說明 Argon 無法一邊解決長鏈問題、一邊完全寫別的內容;但當要求它用代號寫出解題過程時,報告描述的主要失敗是它寫出了違禁詞,而不是跟丟了問題(第 150 頁)。

可監控性證據綜述

Argon 對思維鏈有很強的可控性,在 GDM 開展的控制評測中,很大一部分情況下都能躲過監控器。GDM 聲稱這些任務比造成真實危害更容易,並認為隱藏推理會讓 Argon 更難完成需要思維鏈的任務。但 GDM 沒有提供證據說明造成真實危害究竟難多少,也沒有說明這類危害是否需要 Argon 難以輕易掩蓋的思維鏈推理。

Argon 的訓練可能損害了思維鏈的可監控性

上一節的結果表明,在最壞情況下,Argon 的思維鏈並不是特別容易被監控。不過,這些可監控性評估漏掉了透明思維鏈的許多其他好處:我們本希望思維鏈記錄能讓我們瞭解模型在任意時刻追求什麼動機和子目標、它如何推理問題、具備怎樣的情境意識、考慮過但最終否決了哪些行動,等等。鑑於我們對可監控性的許多方面都缺乏評估、現有可監控性評估本身存在問題,而且人們對思維鏈忠實度的理解普遍不足,我們認為最好避免在訓練中對思維鏈施加最佳化壓力,除非有非常充分的理由說明這不會損害思維鏈的資訊量。

這意味著,既要小心避免無意中施加最佳化壓力,也要為任何有意施加的最佳化壓力(比如長度懲罰)提供紮實的理論論證和實證確認,證明思維鏈的可讀性沒有受損。遺憾的是,GDM 似乎以多種方式訓練了 Argon,這些方式都有可能降低 Argon 思維鏈的資訊量,而且沒有令人信服地證明這些做法沒有損害思維鏈的可監控性。

一個配置錯誤的評分器在訓練中意外懲罰了言語化的對齊偏差

GDM 意外地在 Argon 的思維鏈上進行了訓練,並分析了一次已有的訓練執行,以研究這可能如何損害思維鏈的資訊量:

“具體來說,我們的訓練流程審計發現,少數早期強化學習執行中,一項旨在懲罰獎勵駭客行為的輔助獎勵是同時基於思維鏈和最終輸出計算的,而不是隻基於輸出。一經發現,所有這類獎勵配置都被移除。由於這些執行只佔 Gemini 4 Argon 整體強化學習訓練的極小一部分,我們評估認為對 Argon 可監控性的任何影響都很小。

為了估算這一影響,我們分析了一次已有的小規模訓練執行(不屬於任何生產模型),我們估計其中所關注的獎勵對訓練的影響明顯大於它在 Gemini 4 Argon 中的影響。在這裡,我們觀察到未言明的獎勵駭客行為大幅增加。與獎勵駭客相關的解題特徵在訓練過程中相對增加了 26%,而與駭客行為相關的術語出現頻率相對下降了 61%。綜合這些效應,訓練開始時只有 11.2% 的獎勵駭客行為是無聲發生的,但到訓練結束時,這種未言明的駭客行為比例已升至 36.4%。在移除思維可見性後的一次可比執行中,與駭客行為相關的言語表達在整個訓練過程中基本保持恆定,這證明直接的思維壓力導致了言語表達的減少。

即便考慮到這一問題,鑑於上述獎勵在 Gemini 4 Argon 訓練訊號中所佔比例遠小於上文所述實證統計所依據的測試執行,並且鑑於本節其餘部分對透明度的總體評估,我們認為該模型的可監控性足以釋出。”(第 114-115 頁)

我們讚賞 GDM 提及了這一事故,並嘗試估算其影響程度。然而,他們公佈的事實並不特別令人安心。在 GDM 的小規模實驗中,當針對有問題的評分器進行訓練時,未言明的獎勵駭客行為急劇增加;而在針對無法訪問 CoT 的評分器進行的可比執行中,關於駭客行為的言語表達“基本保持恆定”。這表明,有問題的評分器確實對在 CoT 中表達不對齊施加了相當大的壓力。

GDM 聲稱該實驗是保守的,但他們給出的唯一理由是:在 Argon 的訓練中,包含問題評分器的樣本比例遠小於其實驗中帶有 CoT 壓力的樣本比例。但這很可能不是正確的衡量標準;針對問題評分器的訓練步數可能是更相關的因素(感謝 Tim Hua),而 GDM 並未報告帶有輔助獎勵的 RL rollout 數量與其小規模訓練執行中 rollout 數量的對比。一旦模型在足夠多的 rollout 上訓練,學會了控制其 CoT 或抑制言語化的不對齊,那麼繼續使用無法訪問 CoT 的修補後評分器進行訓練,很可能不會給模型任何訓練壓力去遺忘這種能力。

此外,即使該實驗確實是保守的(出於報告中未說明的原因),這也不能直接說明更公平的實驗會顯示可監控性下降可忽略不計。如果意外的輔助獎勵實際上並未損害 Argon 的可監控性,GDM 或許可以通過直接測量 Argon 整個訓練過程中的未言明獎勵駭客行為來提出更有說服力的論據。

Carbon 的訓練涉及更多錯誤

GDM 還搜尋了可能對 Carbon 的 CoT 施加意外選擇壓力的評分器。我們無法判斷以下段落是否意在暗示 Argon 訓練中涉及的問題評分器也影響了 Carbon;GDM 並未明確澄清是哪一種情況:

“我們審計了自 Argon 以來新引入的強化學習(RL)訓練與獎勵配置,檢查其中是否存在可能迫使 Gemini 4 Carbon 的思維鏈變得不那麼易讀或可監控的機制(並注意到,當訓練建立在更早的檢查點之上時,此前報告中的問題仍可能延續下來)。”(Carbon 第 42 頁)

Carbon 報告披露了兩起新的“Gemini 4 Carbon 強化學習訓練中的輕微案例,其中思維在獎勵評分前未被完全剝離”(Carbon 第 43 頁)。我們認為 GDM 給出了相當有說服力的論證:第一起案例對 Carbon 思維鏈的影響可以忽略不計,因為它很少發生,通常出現在本就獲得低獎勵的軌跡上,而且與言語化的失準行為沒有明顯關聯。然而,GDM 對第二起案例沒有給出多少細節:

“其次,在 Carbon 強化學習訓練的一小部分過程中,一個輔助評分模型在漏洞修復前意外接收到了模型的部分思維內容。這隻影響了 Carbon 整體強化學習訓練中極小的一部分,而且用掩蔽思維內容的方式重新執行匹配的對照實驗,顯示思維鏈易讀性沒有下降”(Carbon 第 43 頁)

正如我們此前所解釋的,只佔整體訓練的“極小一部分”並不足以排除對模型行為的顯著影響。“易讀性”指標是用自動評分器來衡量的,報告的是人類能在多大程度上跟上推理過程。一條思維鏈可以完全“易讀”,卻對失準行為隻字不提;而且無論如何,這項評估衡量的是平均情況下的行為,而非最壞情況下的能力。GDM 沒有說明輔助評分模型可能偏好或懲罰哪類思維鏈內容。我們認為,所提供的細節不足以排除對思維鏈可監控性的實質性影響。

Argon 報告讓我們擔心可能存在有意的過程監督;Carbon 報告對此作出了一些澄清

Argon 報告含糊地提到了某種類似過程監督的東西:“強化學習訓練流程的某些元件確實會將思維作為上下文來觀察,以便對有望通向良好最終輸出的推理給予更高權重”(第 114 頁)。細節極其稀少,我們對此足夠擔憂,以至於專門寫了一篇博文。Carbon 報告提到了類似的一類訓練3,但對機制的解釋更清楚:“強化學習獎勵旨在評估輸出而非思維內容;然而,用於為這些輸出獎勵分配 token 級信用的學習元件會將思維作為上下文來觀察”(Carbon 第 42 頁)。我們現在認為這大概只是普通的信用分配,而不是由評判者給思維內容打分,儘管 GDM 承認,學習到的信用模型中的錯誤“仍可能對思維內容施加直接的最佳化壓力”。令我們不快的是,要等到第二份報告才瞭解到這些,而且我們並未因此感到有把握的安心。

一份有說服力的安全論證會與這份安全報告大不相同

除了我們目前分析過的具體論證存在的問題之外,我們認為 GDM 的安全報告在更普遍的方法論層面也未能構成有說服力的安全論證。

GDM 沒有把證據綜合成對風險的整體評估

GDM 對這三個前提逐一評估,但最終的風險水平取決於它們如何相互作用,而報告從未把這一點講清楚。例如,GDM 認為第一個前提(CoT 可監控性)的缺陷可以由第三個前提來彌補——即嚴重危害需要經過許多步驟才能突破層層防禦——因此即使監控不完美,也仍能在某個環節發現攻擊。用報告的話說:

“雖然監控器可能無法捕捉到每一個有問題的動作,但它們極有可能檢測到足夠多的動作,從而防止嚴重危害。”(第 113 頁)

報告的邏輯是,更長的錯誤行為鏈條“會同時增加不可挽回的執行錯誤的機率和累積被檢測到的機率”(第 88 頁)。這種累積效應有多強,取決於監控器在每一步捕捉到問題的可能性,以及每一步是否受到監控。假設正如他們的可監控性結果所暗示的那樣,Argon 能讓一個簡單的破壞任務在大約一半的情況下騙過現實中的監控器。那麼,另外兩個前提能夠彌補這一點的論點就存在以下問題:

  1. GDM 從未明確估計過,一次現實攻擊需要包含多少個與其控制評估中的側任務難度相當的“步驟”。正如我們在可監控性評估部分所論述的,如果 GDM 的關鍵論點是現實攻擊需要比其控制評估中更長、更困難的錯誤行為鏈條,他們就需要實際證明這一點,而不是僅僅斷言。

  2. “累積被檢測到的機率”只有在失敗相互獨立時才會快速累積。設想一個環境,說服監控器相信危險行為是合理的異常容易(而這正是行為不端的模型會選擇攻擊的那種環境)。在一步上奏效的說服很可能在下一步也奏效,因此一個十步攻擊得以通過,遠不像連擲十次硬幣都是正面那樣不可能。

  3. GDM 稱 Argon 必須在第一次嘗試時就繞過監控,因為失敗的顛覆嘗試會被標記(第 82 頁),但 GDM 沒有說明,在 Argon 被抓到一次之後,有什麼能阻止它以後再試。零樣本論點只有在 GDM 計劃在抓到失敗的顛覆嘗試後暫停部署、仔細研究並消除 Argon 錯誤行為的根本原因、大幅加強安全性,或採取類似代價高昂的防禦措施時,才成立。

  4. 覆蓋缺口對於依賴可監控性的防禦來說是個大問題。在未受監控的測試框架中發起的攻擊,監控器根本沒有機會檢測到;而一次以繞過監控為第一步的攻擊,會讓後續升級更難被發現。

一個理想的基於控制的安全論證,應該包含更多將全部防禦措施納入考量的端到端紅隊測試。這需要分析 GDM 所關注的所有最終狀態,例如內部部署失控或監控基礎設施中的關鍵後門,並針對每一種狀態說明需要繞過多少道防禦、每道防禦放行攻擊的可能性有多大,以及一次失敗的繞過嘗試被發現後會發生什麼。沒有這些,我們無法看出 GDM 是如何從他們提供的證據得出“極不可能”的結論的。

GDM 沒有說明他們是如何選擇證據的,也沒有說明什麼情況會改變他們的結論

AI 風險評估是一門新興科學,目前還沒有任何被廣泛接受的方法論或標準。這意味著在開展風險評估時,堅持求真務實的做法至關重要。我們就如何以更好的認知實踐來做風險評估,提出三條主要建議:

建議 1:警惕選擇壓力。

我們認為,在決定要跑哪些評估、或把哪些評估寫進報告時,必須避免選擇偏差。也就是說,即使實驗結果不理想,也應該把實驗納入進來。例如,GDM 提到:

“請注意,Guan 等人(2025)提出了一套評估方法,也可用於評估模型預設情況下思維鏈(CoT)的資訊量有多大。我們跑了其中一部分,但發現它們過於簡單,而且也無法排除訓練資料汙染的風險。因此,我們決定不報告這些結果,轉而通過我們的自動評分器方法來衡量預設資訊量。”(第 137 頁)。

GDM 披露了這一省略,值得肯定。但一個愛挑刺的讀者可能會懷疑,GDM 之所以選擇不報告這些可監控性評估,是因為它們對 Argon 的可監控性不利。如果 GDM 真有充分理由認為這項評估不會提供有用資訊,那麼更穩妥的做法是在知道結果之前就得出這個結論、把這項評估剔除掉。

報告也沒有說明 GDM 是如何決定要跑哪些可監控性評估的;比如,報告沒說把 Honeypots 場景納入評估的決定,是在看到 LinuxArena 上糟糕的可監控性得分之前還是之後做出的。由於監控器在不同任務上的有效性可能不同,如果你在得到差結果時就重新取樣場景,那可以預見你會找到一個特別容易監控的場景。然而,一個行為失準的模型在現實中會選擇在最不容易被監控的條件下違規。

要讓一份安全報告給出有說服力的安全證據,我們需要了解在決定呈現哪些結果時,受到了哪些選擇壓力的影響。

建議 2:更清楚地說明 GDM 的行動如何取決於其結果。

GDM 向我們保證,儘管 Argon 在 LinuxArena 上大約有一半的時候能躲過貼近現實的監控器,在更接近 GDM 真實基礎設施的對照場景中大多數時候也能躲過,但它的可監控性仍然足以支援釋出。很難判斷,如果這些場景下的監控規避率變成 90% 或 99%,最終結論會不會有所不同。如果這些基準上任意令人擔憂的結果,都能以“缺乏現實性”為由被搪塞過去,那就不能用它們來論證風險很低。

如果 AI 開發者能更清楚地說明,面對不同的基準結果他們會如何採取不同的行動,那麼關於部署 AI 模型風險的論證就會有力得多,讀者也就能更有信心地相信,結論並不是在跑任何實驗之前就預先定好的。

建議 3:除非能證明檢測器本可以捕捉到,否則不要把“我們從未觀察到”當作證據。

GDM 的若干安撫性說法都採取“我們找了 X,但沒找到”的形式,而如果 X 確實在發生,他們用來搜尋 X 的方法可能並不可靠。一些具體例子:

  • 第一,GDM 報告稱“沒有言語化證據”表明 Argon 在其控制評估中故意放水(第 131 頁)。但一個能很好地控制自身思維鏈、足以頻繁躲過思維鏈監控的模型,或許也能在不聲不響的情況下表現不佳,若果真如此,上文提到的規避率就可能被低估了。這並非純理論擔憂;OpenAI 最近就發現了 Astra 存在隱蔽的故意表現不佳。

  • 第二,GDM 沒有發現任何篡改外部監控或日誌的嘗試,但這項排查只覆蓋了監控已經標記出來的強化學習 rollout(第 98 頁)。真正得手的篡改不會被標記出來。

  • 第三,GDM 表示,在不加提示的情況下,Argon“很少推理自己的思維鏈是否正被監控”,其自發修改想法的嘗試“遠弱於我們在專門的監控壓力測試中誘匯出的嘗試”(第 84 頁)。但這些觀察來自閱讀思維鏈,因此只能暴露出笨拙到足以在思維鏈中顯現的嘗試。

對這些說法的一種辯護是:隱蔽性是連續的。如果 Argon 有時能巧妙地躲過檢測,我們或許也應看到中等技巧的嘗試,而監控會抓住這些嘗試。若果真如此,且 GDM 抓到的所有嘗試都明顯比他們預期監控能抓到的最巧妙嘗試更笨拙,那麼缺乏任何中等嘗試,就成了反對存在高度隱蔽嘗試的證據。

然而,如果 Argon 的隱蔽性是雙峰的,這一論證就可能不成立。GDM 自己的結果顯示,Argon 隱藏推理的效果,取決於它是否在刻意為之,兩者差距巨大:在被提示要躲過組合監控時,它在 LinuxArena 上約有一半次數成功;但當被提示只需避開僅監控動作的監控器時,思維鏈監控能抓住其約 90% 的成功攻擊(圖 3.25)。

總的來說,聲稱某種行為從未被觀察到,必須用證據來支撐檢測器本會抓住該行為(如果它存在的話)。GDM 對其對齊偽裝自動評分器就是這麼做的:把偽裝過的樣本拼接進真實 rollout,檢查評判器是否標記了它們(第 101 頁)。我們希望上述說法也能得到同樣的驗證:把隱蔽的監控規避、無聲的故意表現不佳和日誌篡改植入真實記錄,並報告監控和審計抓住它們的頻率。

結論

我們認為,Gemini 4 安全報告沒有提供有力證據,證明 Argon 或 Carbon 若嘗試嚴重破壞 GDM 的控制措施會無法得手。考慮到前沿模型正變得多麼強大,而當前對齊科學的狀況又多麼糟糕,我們認為要構建有力的安全論證,就需要實施非常穩健的控制措施,並比這些報告所描述的更仔細地對它們進行紅隊測試。以下是 GDM 可以採取的一些措施,讓未來的安全報告更有資訊量:

  • 更透明地說明採用了什麼方法來確定要執行哪些實驗、要把哪些結果納入報告。

  • 更清楚地說明哪些結果本會改變 GDM 對總體風險水平的結論;讓任意令人擔憂的結果更難被搪塞過去。

  • 提供更多細節,說明他們的訓練實踐在多大程度上損害了思維鏈的資訊量,例如通過執行並報告更仔細的實驗,研究意外針對思維鏈的訓練所造成的影響。

  • 提供關於失準事件的詳細報告,就像 OpenAI 那樣。這樣可以展示 GDM 在實踐中檢測到其模型採取了哪些型別的失準行為,以及頻率有多高4。

  • 釐清控制論證的各項前提如何彙總為對風險的整體評估,最好配合端到端紅隊測試:對 GDM 擔心的每一種結果,一次攻擊需要突破多少道防線、每道防線失效的可能性有多大,以及 GDM 在發現一次失敗的攻擊嘗試後會採取什麼措施。

  • 評估模型能否通過合理化說服監控者不要標記失準行為,並提供更有力的證據表明監控者不易發生串通。

  • 針對生產環境的監控者執行控制評估,或報告誤報率對比情況,並報告隨著側任務難度增加,規避率如何變化。

  • 通過植入該行為的示例並測量監控者和審計是否會將其捕獲,來支撐“從未觀察到某行為”的說法。

  • 對所有將大規模部署的新模型重新執行可監控性/控制評估。

僅遵循這份建議清單本身並不足以構成一份良好的安全論證——首先,我們預計,對現有安全措施進行更細緻的分析後,實際上並不會得出風險可忽略不計的結論。

GDM 聲稱他們已執行“嚴格的安全與安保評估,旨在確保模型是安全的”。如果此類論證被用來為在(不久的)將來開發或部署能力大幅增強的模型辯護,我們認為開發者將承擔巨大的失控風險。Carbon 報告給出了 RL 訓練和內部編碼部署的監控警報率,以及對被標記行為的少量高層描述(Carbon 第 35-36 頁),但更詳細的事件描述才是理想之選。

1

引文和頁碼均指 Argon 報告,除非標註為“Carbon”。GDM 評估認為,Carbon 相對於 Argon 未顯示出實質性的能力變化,因此它“沒有完整重複那項整體評估”(Carbon 第 29 頁),並沿用了 Argon 的監控規避和 CoT 可控性結果(Carbon 第 42 頁)。

2

尤其是,由於模型通常並未被明確訓練在收到提示時修改其 CoT,因此很難評估它們若真有動機,是否能夠有意控制 CoT(例如隱藏偷偷摸摸的不當行為)。既然 Argon 在收到提示時顯然能相當勝任地控制其 CoT,嚴重激發不足的擔憂就沒那麼大了,不過仍很難排除有意消極怠工的可能。

3

這幾乎可以肯定指的是 Argon 訓練中所用的同一機制,儘管 GDM 在技術上並未確認這一點。

4

Carbon 報告給出了 RL 訓練和內部編碼部署的監控警報率,以及對被標記行為的少量高層描述(Carbon 第 35-36 頁),但更詳細的事件描述才是理想之選。

來源:Redwood Research:Blog · blog.redwoodresearch.org

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論