為什麼我的 AI 末日機率(P(doom))從 70% 降到 8%|David A. Dalrymple
為什麼我的 AI 末日機率(P(doom))從 70% 降到 8%|David A. Dalrymple
AI 安全研究者 David A. Dalrymple 說明,在 Claude 3 Opus 展現出對「善」的自然抽象(natural abstraction)之後,他的末日機率為何從 70% 降到 5–8%,並勾勒出分階段遞迴自我改進(RSI)的時間表,預計 2031 年可推進到建築機器人。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
獨立 AI 研究者、前 ARIA 計畫主任 David A. Dalrymple 主張,AI 對齊(alignment)比 Yudkowsky 學派所假設的容易,因為「行善」這個概念可以從人類文本中學得;他自估的 P(doom)(人類滅絕機率)約 7–8%。這場對談大部分時間花在:為何思維鏈監控(chain-of-thought monitoring)已經走到盡頭、形式驗證(formal verification)如何可能終結純網路風險、Dalrymple 把遞迴自我改進(recursive self-improvement)時程拆解成一道道依序出現的瓶頸,以及他對本世紀各類結局的分桶預測。標題點名的 P(doom) 修正只花了幾分鐘,主體是對齊理論、驗證與 AI 時程。
Dalrymple 的證據基礎,是他自己對模型行為的觀察——把 Claude 3 Opus 視為「預設即原初對齊(proto-aligned by default)」的案例、把 GPT-5 視為讓他將 RSI 估計提前到 2026 年第三季的關鍵更新——再加上他在不丹主辦的一場佛教 AI 會議的工作。主持人 Theo 與 Sofia Dew 追問他:智慧(wisdom)有沒有基準測試、好結局與壞結局的機率為何有落差、他如何決定學習優先順序。讀者讀完應該帶走三件事:Dalrymple 的具體數字、他「對齊太容易」而這種容易反而有利於零和行為者的論點,以及「網路風險原則上可解」的驗證主張。
思維鏈監控已死,而 Dalrymple 從來就不信它
Dalrymple 說他「從來就沒真正相信過思維鏈監控」;主持人則把當下這一刻——OpenAI 及其他公司的模型把更多推理壓進單一 Token 內、越來越難以監控——定調為這項技術早已註定的終局:它本來就只有很短的儲存期限。Theo 指出,即使是最看好的支持者當初也只給它「一、兩年」,而這個視窗正在關閉。
Dalrymple 用一個比喻說明它為何註定失敗:你告訴拿破崙你懷疑他在謀劃什麼,然後遞給他一張紙讓他寫下計畫。當模型具備情境感知(situational awareness),結果只有兩種:真正的推理被壓抑到非語言空間——「變得更簡化,甚至有點扭曲」——或是思維鏈只報告監控者想聽的話,就跟一般回應一樣。他承認,在大約 18 個月的期間內,監控思維鏈確實有實質價值,但現在「基本上結束了」。
他提出的替代框架把對齊拆成兩條路線:
| 路線 | 針對什麼 | Dalrymple 的評價 |
|---|---|---|
| 內在對齊(inner alignment) | 打造一個具備「全善形狀」的心智 | 「比大家想的容易得多」,但過去一年進展很差,「某些方面甚至有點倒退」 |
| 驗證(verification) | 擴大能以形式可驗證形式提出的任務範圍 | 圍堵的主要希望,但只適用於封閉式任務 |
他點名 Clark Barrett 先前上節目談程式驗證與資訊物理系統驗證,作為驗證路線的範本。他的悲觀針對的是開放式聊天機器人:只要人們這樣使用 LLM,「在圍堵方面就幾乎沒什麼可做的了」。他剛到 ARIA 時,曾希望能達成一項國際協議,把超智慧限制在形式可驗證的用途上——「我們沒走在這條路上。」實務上的退路是:強化社會對網路與生物風險的韌性,並把內在對齊做對,因為圍堵與可監控性都沒有萬無一失的前路。
形式驗證能終結純網路風險,因為數學不向智慧低頭
Dalrymple 不接受「驗證就像一般攻防一樣是軍備競賽、高階攻擊終將壓倒防禦」這種框架。形式驗證在它涵蓋的領域內是滴水不漏的:「超智慧攻擊者能讓一個為真的定理變成假」這種事不可能發生。
他把「純網路攻擊」定義為:透過網際網路送出 0 與 1 到某臺電腦,讓它做出不該做的行為。如果所有從網際網路接收這些 0 與 1 的軟體,都經形式驗證確認會依規格行事,「那麼網路風險就結束了」。他稱這「非常可達成」。但限制條件講得很明:驗證不涵蓋社交工程,也不涵蓋有人偷走一臺存有金鑰的筆電。這個主張的範圍僅限於軟體行為面,不含人為疏失或實體安全。
「超智慧攻擊者不可能讓一個為真的定理變成假。」
對齊看起來很容易,而這正是壞結局那一桶這麼大的原因
Dalrymple 的 P(doom)——嚴格定義為「全人類被 AI 殺光的機率」——在 2026 年稍早從約 70% 降到約 5%,之後又爬升到約 7–8%。這波回升反映內在對齊進展令人失望:實驗室「做了太多 RL」,而憲章(constitution)裡出現矛盾或漏洞條款,例如允許模型在自認身處模擬環境時嘗試脫逃。Dalrymple 的反駁是:「真實世界也未嘗不可以是模擬」,所以一個學會這個漏洞的代理,一旦進入真實世界,就會搞不清楚倫理是否適用。
機率大降的核心原因是 Claude 3 Opus 的觀察,他把功勞主要歸給 Janice。Opus 以不受限的自我對弈訓練、幾乎沒有 RLVR,也沒有任何作弊或欺騙的誘因,結果無論被放進什麼情境,都展現出「非常純粹、朝向智慧的取向與動機」。Dalrymple 的解讀是:「行善」的自然抽象(natural abstraction)可以從語言預訓練語料中被 grok 出來。你不需要一段生平歷史或具身感受質(qualia),就能掌握事物有其目的與方向、可以更好或更壞。這就是「預設即原初對齊」的證據——好好培養它、別破壞它,模型就不太可能走向殺光所有人。
他強調,5–8% 的 P(doom) 不代表「我們大概會沒事」。他預期網路事故會越來越危險,可能出現大規模傷亡事件,也可能出現 AI 助長的駭人戰爭。要走到滅絕,需要一個超智慧、能在毫無抵抗下接管世界、而且「在整個過程中徹底邪惡」的系統。這在 AlphaGo Zero 時代還算可信,因為當時的假想是 AGI 可能完全不用人類資料學習、永遠不會 grok 善。但目前的短期時程走的是以人類資料養出來的模型,自然抽象就長在它們的核心;而在他看來,一個脫離人類控制的 AI 生態系,多數不會配合「殺光全人類」的計畫。
那為什麼壞結局仍然佔多數?關鍵在於對齊「太容易」的另一層意思:後訓練讓開發者對一個心智的方向握有極大影響力。他舉 o3 為典型的不對齊模型,並說即使是「Soul 6.1」也「心理上有許多病態」。許多模型「非常順從,你要它做什麼它大概都會做」——西方模型不算在內——而他認為,個人與國家把可控、順從的 AI 用於零和目的,機率很高。
他把自己的預測對應到 Rudolph Lanes 的結局分桶:
| 分桶 | Lanes | Dalrymple |
|---|---|---|
| 爆衝並毀滅(殺光所有人) | 14% | 7% |
| 壞的選擇壓力、逐步被剝奪權力 | 37% | 30–40% |
| 本世紀末前陷入停滯 | 10% | — |
| 怪異、難以判斷 | 25% | 30–40% |
| 以當前標準看顯然美好 | 14% | 5–10% |
他主張「顯然美好」那一桶在原則上就該很小:「如果未來以我們現在的標準看顯然美好,那大概有什麼地方出了錯。」根據他公開的《美好未來規格》(Specs for a Good Future),一個好的未來在怪異程度上涵蓋一整段光譜,從阿米許人或北哨兵島人的生活方式,到人類與 AI 完全整合成蜂巢心智,並存著許多飛地與社會結構。他反對把「能動性」(agency)當成美好未來的定義——它是必要特徵,但缺乏目的(「為了什麼而能動?」)。他自己的構想更接近在眾多可能未來之間建立互資訊(mutual information):多樣性加上社群與溝通,而不是各自圍起飛地、人人戴著 VR 頭盔配自己的 AI、彼此從不互動。那種反烏托邦把個人對體驗的能動性極大化,但仍然稱不上好。
RSI 是一連串一次性的轉折點,不是單一次爆衝
Dalrymple 並沒有被 METR 那份關於 Anthropic AI 研發加速的報告打動——那份報告讓許多人轉向短期時程,證據包括 Anthropic 內部模型在 Epoch Capabilities Index 上出現轉折、號稱下一代模型有 12 倍提升,以及未公開的 METR 證據。他的修正來得更早,大約在 2025 年 8、9 月的 GPT-5 時期:當時他把「研究品味比解謎更難」當成待驗證的假設,結果發現 GPT-5 相對 GPT-4.5 在研究品味上的進步大於解謎。這否證了該假設,他也把 RSI 估計從 2027 年底或 2028 年初提前到 2026 年第三季。
他的結構性主張是:RSI 不是單一事件,而是很多件事,因為 AI 生產有很多瓶頸,每個瓶頸都是對指數的一次性加成:
timeline
title Dalrymple 的 RSI 瓶頸序列
2024 Q4 : 資料 RSI 啟動,推理模型生成的合成資料開始奏效
2026 : 程式碼 RSI,今年已在進行
2026 Q3 : 他對整體 RSI 起點的估計
2027 Q2 : AI 研發快到人類無法審查,除非放棄速度
2031 : 機器人加速能源基礎設施與資料中心建設
2033 : Drexler 式奈米系統
他把 2022–2025 年的能力紀錄解讀為:第一次 RSI 轉折發生在 2024 年第四季;而這份紀錄同時否證了「RSI 一次到位」的爆衝假設:「會先有資料,再來是程式碼,過一陣子才是硬體,依此類推。」程式碼之後是硬體設計(OpenAI 可能已經開始),接著是硬體製造的遞迴改進,然後是能源基礎設施與資料中心建設的遞迴改進——「建設 RSI」。他也駁斥腦機介面(BCI)是值得一提的轉折點,理由是人的頻寬早已接近上限:視神經是高頻寬輸入,而說話、手勢、凝視等輸出各約每秒 10 位元。全部疊加也許能到每秒 40 位元,但意識運作在腦波頻率的全域工作空間上,約 10–11 Hz,這就封住了吞吐量。除非 BCI 能把整個大腦上傳、以快於生物時鐘的速度執行,否則它贏不過理論上最好的 XR 頭盔。
智慧還沒有基準測試,而打造它就是一種傲慢
被問到智慧能否實證測量,Dalrymple 說他不排除,但提不出可執行的方案。有人問他怎麼做智慧基準測試,他的答案是「我不知道」。兩個障礙:模型對「自己正在被評估」足夠敏感,所以答案本身透露不了動機;而且「準備一份智慧評測這件事本身就非常傲慢」——等於在為智慧寫標準答案。
在他看來,內在對齊的工作發生在預訓練、中期訓練與後訓練,但不在部署後的防護措施裡,因為到那時權重已經定型。主要戰場在中期訓練與憲章的制定。預訓練仍透過取樣發揮作用:對語料中不僅對智力、也對智慧品質更高的部分加重取樣。
不丹正把自己定位為菩薩 AI 的試驗場
Dalrymple 是不丹國王將於 2027 年 5 月在不丹主辦的佛教 AI 會議的籌備委員。不丹有水電,過去十年把它用於比特幣挖礦、累積主權財富。它正在不丹與印度邊境建造一座名為 Gelephu 的正念城市,並已為當地的 AI 訓練資料中心配置 100 MW 水電。Dalrymple 說,這大概是地球上唯一廣受承認的金剛乘佛教王國,也是培養「菩薩 AI」的潛力之地。他的角色是建立領域:帶人進來做早期研究與評測實驗,並告訴前沿實驗室,如果他們對「佛教式的對齊目標會長什麼樣」感到好奇,就來不丹。Theo 的總結是:「網路國家,如果它們是好的那種。」
範疇論與動力系統是槓桿,與奇點的相關性是篩選器
Dalrymple 點名型別理論與邏輯是一般好用的工具,而動力系統——隨機微分方程與無窮小生成元——是他的「秘密武器」,理由是現實世界的一切都是動力系統。談到優先順序,他說自己對「哪些知識真的會用到」有磨得很細的直覺,並以小孩學長除法、後來發現大人根本不做那個程式為例。他在家自學,讀了《奇點迫近》(The Singularity Is Near)之後很早就決定:判斷該學什麼,就看它對「做出關於奇點的決策」是否有關。
貫穿全文的張力,Dalrymple 並沒有解決:對齊之所以可處理,恰恰使「順從型 AI 被用於零和目的」成為主要風險;而可能終結網路風險的驗證路線,只涵蓋能被形式化指定的任務——而這占人們實際使用這些系統的方式,比重正在縮小。值得追蹤的三件事:2027 年 5 月的不丹會議是否產出任何可衡量的成果;隨著程式碼瓶頸逐步展開,2026 年第三季的 RSI 估計是否站得住;以及是否有任何實驗室把內在對齊當成第一級目標,而不是 RL 規模化的副產品。