METR 評審 Anthropic 2026 年 8 月風險報告中自動化 R&D 風險章節
METR 評審 Anthropic 2026年8月風險報告的自動化 R&D 風險章節
METR 透過高許可權資料,對 Anthropic 2026 年 8 月風險報告中「自動化 R&D 風險」章節進行獨立評審,指出其對 2 倍加速閾值的低估與可能已被越過的風險。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
METR:Blog·2026-11-05 00:00· 1 天前精選AI 評分70
Review of the "Risks from automated R&D" section in Anthropic's Risk Report (August 2026)
AI 導讀
METR 釋出對 Anthropic 2026年8月風險報告“自動化 R&D 風險”章節的獨立評審,同意 7月15日 模型的直接災難性風險為“低”,但認為其可能已觸及 2x Acceleration 早期預警閾值。
推薦理由
METR 基於高許可權訪問逐條對比公開與未刪減報告,指出 2x 加速閾值的判斷依據被弱化,讀者可藉此校準對風險報告措辭的解讀。
刪節說明:作為本次評估的一部分,Anthropic 有權對本文中任何非公開資訊進行刪節。按照我們的透明度原則,我們有權披露 Anthropic 是否行使了刪節權,以及我們的任何發現是否在相當程度上依賴於被刪節的資訊。所有對我們的結論有重要影響的刪節,均已在下方報告中說明。
執行摘要
我們認同 Anthropic 的判斷:7 月 15 日釋出的模型帶來的災難性風險較低;但我們認為,這些模型在當時很可能已經越過了其早期預警閾值。
METR 審閱了 Anthropic 公開的《2026 年 8 月風險報告》中“自動化研發帶來的風險”一節。1本次審閱屬於一項高許可權評估的一部分,評估主題是 AI 研發加速;Anthropic 在該評估中提供了風險報告的未公開版本,以及大量其他非公開資料。在釋出本審閱的同時,我們也在釋出一份關於 Anthropic 內部 AI 研發加速的整體評估。該整體評估與本次風險報告審閱由同一批 METR 員工完成。
總體而言,我們認同 Anthropic 的結論:截至 7 月 15 日,其內部部署的模型直接自動化關鍵領域研發、或因能力進展加速而引發嚴重災難性風險的可能性都較低。但報告聲稱這些模型尚未越過早期預警閾值,這一說法依賴於一些存在爭議的判斷,而公開報告並未把這些判斷講清楚。儘管參與本專案的 METR 研究人員和 Anthropic 的相關員工都傾向於認為閾值尚未被越過,但我們認為它很可能已經被越過,並且我們認為公開報告總體上低估了當時正在發生的加速程度。
在本審閱中,我們首先概述我們對 Anthropic 風險報告的理解,包括其威脅模型、早期預警閾值和關鍵主張。隨後我們闡述對這些關鍵主張和結論的評估。最後,我們分享本次風險報告審閱的過程細節(關於過程和訪問許可權的更多細節,見我們的整體審閱)。
Anthropic 的 RSP 為“關鍵領域的自動化研發”設定了兩項能力閾值。
根據 Anthropic 的 RSP v3.4,只要滿足以下任一條件,即觸發自動化研發閾值:
- 完全替代閾值:如果其開發的模型能夠“以有競爭力的成本(即在 5 倍以內)完全替代我們全部的研究科學家和研究工程師”。
- 2 倍加速閾值:如果由於可能與 AI 研發自動化相關的原因,AI 進展速度出現“急劇加速”。2RSP 對此有更詳細的定義,但這些細節對我們的批評並不關鍵。
(請注意,為清晰起見,我們在本報告餘下部分為這些閾值起了名稱,但它們在 RSP 中並沒有名稱。)
風險報告認為,完全替代閾值尚未被越過,因為模型目前還沒有替代人類。
《風險報告》認為,目前模型還不能替代 Anthropic 的全部員工,因為儘管 Anthropic 有很強的動機儘可能用模型替代研究人員,但研究人員仍在 Anthropic 完成工作。
“我們相信,如果模型能夠替代我們整個研究團隊的技術工作——哪怕成本很高——我們也會清楚地意識到這一點;而事實上,即使有強烈的動機,我們也沒有進行這種替代,這本身就說明我們的模型還不具備這種水平的能力。”
簡單來說,Anthropic 在努力用模型替代研究人員,但研究人員仍然不可或缺。報告也給出了基準測試證據,但我們認為它不如這一直接觀察重要,也更不確定。
《風險報告》認為,2 倍加速閾值尚未被跨越,因為能力指標和先行指標顯示加速不到 2 倍,且推動加速的是 AI 以外的因素。
《風險報告》列出了三條主要證據,說明他們尚未跨越 2 倍加速閾值:
- 先行指標加速有限:“我們的先行指標顯示,從 2025 年初到年中開始出現了明顯的加速,但幅度不到 2 倍。”
- 這種加速很難歸因於 AI:“我們相當確信,2025 年的加速應歸因於我們使用 AI 模型之外的因素;不過我們也認為,我們的 AI 模型是推動這一更快趨勢持續到覆蓋日期之後的關鍵因素。”
- 缺乏有力證據支援 AECI 持續加速:Anthropic 報告稱,只有微弱證據顯示 AECI 出現過一次性躍升,且這應歸因於非 AI 的進展,而非持續加速。
《風險報告》將2 倍加速閾值描述為早期預警,而非高風險已經出現的直接證據。
8 月的《風險報告》這樣描述2 倍加速閾值:
“我們的 RSP 中設定的風險閾值——即進展速度比 AI 加速前的水平翻倍,且可歸因於 AI 研發的自動化——是一個潛在的早期預警,而不是威脅已經成真的證據。”
他們沒有給出一個能表明風險已高的精確閾值,但他們的威脅模型描述了一些示例情景:
“威脅在於:我們相信,未來幾年 AI 模型可能具備廣泛超越人類的能力。尤其是,推動關鍵領域研發所需的大部分甚至全部工作——從機器人技術到能源、網路戰,再到 AI 研發本身——都可能變得可自動化。
如果這一判斷成立,可能帶來巨大的收益,但這些收益也會伴隨幾個不同卻相關的問題:
- 某些技術領域的快速進展,可能改變國家內部和國家之間的權力結構。例如,如果某個威權政權在 AI 上建立起對世界其他地區的自我強化領先優勢,這種領先可能累積成科技上的巨大優勢——進而可能轉化為發動戰爭、監控公民和/或長期掌控極強技術的能力上突然而顛覆性的進步。
- 如果 AI 模型在關鍵領域高度自動化研發的過程中發展出危險的目標,它們就可能借助新技術及其對技術的獲取渠道造成無上限的傷害——甚至包括人類徹底失去對文明的控制。
- 如果 AI 能被用來自動化 AI 研發本身,結果可能是 AI 進展的極度加速,從而帶來非常廣泛的一系列風險,包括但不限於本報告討論的那些風險。”
根據這些描述以及與 Anthropic 員工的交流,我們理解“低/中/高”的整體風險評級指的是當時模型直接促成上述災難性問題的風險,而不是模型越過 RSP 閾值的風險(不過我們認為報告本可以把這一點說得更清楚)。
Anthropic 的結論是,截至 7 月 15 日,這一威脅模型帶來的風險為“低”。
因此,Anthropic 認為整體風險為“低”,理由是:
- 其閾值不太可能被越過,並且
- 即使閾值被越過,也未必足以造成其威脅模型中描述的那類災難性風險。
報告對此的總結是:
“低。我們認為我們的模型未達到該威脅模型的任何一項 RSP 標準。不過,我們對這一評估的信心低於以往的風險報告,因為我們最具體的任務型評估已經‘飽和’——也就是說,它們不再能反映模型能力的提升——而且我們正看到潛在加速的早期跡象。”
METR 的評估
我們認為,風險報告中關於尚未越過完全替代閾值的論證總體上令人信服。
Anthropic 描述的完全替代閾值是一個很高的門檻,我們也同意:如果其模型在 7 月 15 日就已具備這種能力,他們很可能會注意到研究自動化方面有更大的進展。
與 Anthropic 類似,我們對這一說法的信心遠低於過去,因為缺少高置信度、未飽和、能證明能力侷限的基準測試,而這些侷限對自動化 AI 研發似乎至關重要。缺少這類基準證據讓我們更加擔心:儘管模型已經具備或非常接近具備所需能力,對齊、工具、監督或引導方面的問題仍在拖慢自動化。
我們認為,公開風險報告中關於尚未越過 2 倍加速閾值的論證被誇大了,並且認為該閾值在 7 月 15 日時有可能已經被越過。
METR 和 Anthropic 的大多數相關研究人員傾向於認為 7 月 15 日尚未越過該閾值,但我們認為它有可能已經被越過。我們認為,公開風險報告關於 2 倍加速閾值的結論顯得過於自信,並且依賴了公開報告沒有清楚傳達的主觀判斷。
具體來說,我們認為公開風險報告低估了 AECI 和先行指標中加速的證據,也低估了未刪節內部報告中對反事實加速所表達的不確定性。
主張 1:先行指標中的加速有限。
| 公開風險報告 | 內部風險報告 |
|---|---|
| “我們的先行指標顯示,從 2025 年初到年中開始出現有意義的加速,但幅度不到 2 倍。” |
“按我們對當前[已隱去]進展速度(每年[已隱去]倍)的居中估計,即便把所有觀察到的提速都歸因於 AI 輔助,[已隱去]的進展速度也還不到原來的兩倍。” METR 對這句話的說明:每年[已隱去]倍所隱含的加速倍率是 1.97。1.97 這個數字並未出現在非公開報告中;這是我們自己的計算,把該報告對上述當前進展速度的估計,與報告中另一處對歷史進展速度的估計結合起來得出。 |
我們認為,公開報告的讀者會把“不到 2 倍”理解為明顯低於 2 的估計值;因此,非公開風險報告的數字隱含 1.97,令人意外。更貼切的描述似乎是“大約 2 倍”。
METR 自己對這些先行指標的分析(在本報告中被隱去)給出的合理估計區間是 1.3 到 2.8。對於衡量這些數值的正確方法,我們存在很大的方法論上的不確定性,這一點我們在整體報告完整版(未隱去版)中討論過。正如那份報告所述,Anthropic 隱去了這段討論。
METR 建議的表述:
“先行指標顯示出大幅加速,具體倍率在 1.3 到 2.8 之間,取決於定義和時間區間。這些先行指標與下游能力之間是何關係,我們並不確定。”
主張 2:這種加速對 AI 的歸因有限。
| 公開風險報告 | 非公開風險報告 |
|---|---|
|
“我們認為,有 AI 輔助時,內部 AI 研發工作明顯快於沒有 AI 輔助時,但還沒有快到 2 倍(不過我們並不確定,而且測量很困難)。” “我們相當有把握把 2025 年的加速歸因於我們使用 AI 模型之外的因素,不過我們也認為,AI 模型是更快的趨勢得以持續到覆蓋日期的一個關鍵因素。” |
“總體而言,我們預計[已隱去]的端到端增長速度,比沒有 AI 輔助時略快不到兩倍。” “相對於無輔助的反事實情形,我們對 AI 研發進展提速的居中估計是,[已隱去]略低於 2 倍。……我們猜測這更可能是高估而非低估;儘管如此,不確定性足夠大,我們總體上超過 2 倍似乎也是可能的。” |
第一段確實表達了對整體加速的不確定,但公開風險報告似乎暗示,即便到 7 月 15 日這個覆蓋日期,也只有較小一部分可歸因於 AI,而且對此有相當高的把握。與此同時,非公開風險報告稱,到 7 月 15 日,歸因於 AI 的整體反事實加速超過 2 倍是“可能的”。
根據我們在整體報告中審視的證據,我們大體同意非公開風險報告當時對證據的評估,不過直接估計反事實加速非常困難。
METR 建議的表述:
“我們相當有把握把 2025 年出現的部分加速歸因於我們使用 AI 模型之外的因素,不過我們也認為,AI 模型是更快的趨勢得以持續到覆蓋日期的一個日益重要的因素。
根據對研究負責人的訪談和非正式調查,我們估計,AI 能力的整體進展速度仍然略低於無 AI 輔助時的兩倍。不確定性足夠大,因此我們整體上超過 2 倍這一系數似乎也是合理的。”
主張 3:反對 AECI 持續加速的證據較弱。
| 公開風險報告 | 內部風險報告 |
|---|---|
|
“Claude Mythos 5 高出歷史得分趨勢線的幅度與 Mythos Preview 相近,這構成較弱的證據,說明整體模型能力趨勢隨時間大幅上升的可能性不大。 基於有限的資料,Model 2(未在圖中顯示)在 AECI 上似乎比 Claude Mythos 5 高約 1.5 分,誤差棒很大(增幅小於從 Claude Mythos Preview 到 Claude Mythos 5 的增幅)。” |
“鑑於我們並非所有模型都經過端到端訓練以最大化每 FLOP 的智慧(事實上,沒有一個模型是專門為此目標最佳化的),就存在一個問題:這個 [AECI] 數值應被視為有多少‘有效分’,以及表面上的強線性趨勢是否真如看起來那樣可靠。” “這四次執行中最新、能力最強的一次……參與了 Model 2 的訓練流程,但我們認為該模型的效能並不能反映我們預期從這一基礎模型衍生出的後續模型的表現(我們預計那些模型相對 Mythos 5 的提升會更顯著)。” |
公開風險報告稱 Model 2 的得分誤差棒很大,但沒有說明內部風險報告中的限定條件,即 Anthropic 預計同一基礎模型的後續快照會取得更高分數。事實上,Model 2 的後續快照在 AECI 上的提升幅度,與 Mythos 5 相對 Mythos Preview 的提升大致相當。
公開風險報告還描述了在 Mythos Preview 釋出時發現 AECI 出現一次性躍升的弱證據,但我們不認同他們對這一點的強調:
- 當時,AECI 資料僅輕微支援躍升,且無法排除持續加速。若複用風險報告中所用的資料,估計加速約為 1.5 倍。風險報告發布後,Anthropic 加入了更多基準的資料,在相同模型集合下估計加速為 1.9 倍。
- 我們認為,只依賴那些最直接為最大化能力而最佳化的較少數模型更簡單、更有原則,而且完全無法區分這兩種假設。3
- AECI 的持續加速與領先指標中觀察到的持續加速更為一致。正如我們的整體評估所述,我們認為公開風險報告以來的證據支援自 2025 年 10 月以來持續加速。
METR 偏好的表述:
“鑑於當前的 AECI 資料,我們無法有把握地區分能力的一次性躍升與持續加速。然而,鑑於上述領先指標的加速,持續加速似乎更為簡約。
另外兩個因素使當前的 AECI 趨勢難以解讀:
- 構成這一 AECI 趨勢的部分模型並非僅針對能力最佳化,這使得難以解讀該趨勢具有多少‘有效分’。
- Model 2 尚未完成訓練,因此我們預計後續快照的效能會有所提升。4
未來的 AECI 測量結果很可能會說明,這究竟是一次性躍升,還是持續加速。
儘管如此,我們大體上同意:7 月 15 日可用的模型因自動化研發而帶來的直接災難性風險較低。
綜合上述證據,我們認為 7 月 15 日可用的模型確實有可能為 AI 研發進展帶來了 2 倍的反事實加速;但要引發 Anthropic 上文所述的那類災難性風險,很可能還需要大得多的加速幅度。我們也不認為當時的模型能夠完全自動化 AI 研發或其他關鍵領域的研發。因此我們同意,對當時的模型而言,這些風險屬於“低”。
不過,正如我們在整體評估中所描述的,我們預計 AI 對研發的增強作用會持續增長,也無法排除未來 6 個月內能力進展速度進一步大幅加快。這可能會迅速使這些領域的風險升至“高”。
流程細節
關鍵術語。
METR 受 Anthropic 委託撰寫 AI 研發加速評估,工作開始後不久,Anthropic 又請 METR 額外撰寫一份對其 8 月風險報告的評審,METR 同意了。評審的確切範圍從未正式確定,而是在合作過程中由雙方協商確定。
利益衝突披露。
合同細節。
時間線。
- 8 月 12 日:Anthropic 開始與 METR 共享機密資訊。
- 8 月 14 日:Anthropic 向 METR 提供未經刪減的 8 月 AI 研發風險報告。
- 9 月 18 日:METR 向 Anthropic 提交風險報告評審初稿,徵求反饋。
- 9 月 22 日至 10 月 28 日:METR 對風險報告評審進行多輪修改。
- 10 月 28 日:Anthropic 給出風險報告的最終刪減指引。
- 10 月 29 日:Anthropic 批准刪減後的報告。
其他披露。
AEF-1 清單。
-
作者:Tom Cunningham、Nate Rush、Parker Whitfill 和 Hjalmar Wijk。 ↩
-
引用 RSP v3.4 的表述,這一條的操作化定義是:“我們認為情景(2)已經發生,當且僅當:(a) 我們觀察到或預期 AI 綜合能力進展速度達到我們在沒有 AI 對 AI 研發做出顯著貢獻的情況下所預期的速度、以及所觀察到的最快持續進展速度[fn2]這兩者的兩倍[fn1];(b) 這種翻倍有相當大一部分可合理歸因於研究與/或工程的自動化(而非人員增加、算力增加或一般生產力提升等其他因素),以至於這一 AI 進展趨勢若延續下去,很可能帶來更大的加速。”
[fn1] “進展速度翻倍”是指“一年取得的進展相當於基線情況下兩年取得的進展”。例如,若基線進展是算力擴大 3 倍、演算法效率提升 3 倍(即 9 倍“有效擴充套件”),那麼“進展速度翻倍”大致相當於 81 倍的有效擴充套件。這與“研究人員生產力翻倍”不是一回事,因為投入翻倍並不必然使進展速度翻倍。
[fn2] 至少跨越了三代模型。 ↩
-
我們只基於少數幾個最直接以最大化能力為最佳化目標的模型,做了一次樸素外推,並假設加速趨勢會延續。相比基於全部資料點的外推,這次外推讓我們更準確地預測了未來的 AECI 分數。 ↩
-
截至風險報告覆蓋日期 2026 年 7 月 15 日,模型 2 尚未完成訓練。 ↩
來源:METR:Blog · metr.org