只要十年內停下來,人類就能挺過 AI 危機|Nate Soares
只要十年內停下來,人類就能挺過 AI 危機|Nate Soares
MIRI 的 Nate Soares 主張,人類唯有在大約十年內停止前沿技術開發,才可能挺過 AI 危機;因為一旦系統有能力先發制人地癱瘓我們,事後修補失敗的做法就無法通用。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
機器智慧研究所(MIRI)所長 Nate Soares 主張,人類要挺過先進 AI 這一關,最有可能的途徑是在大約十年內讓最危險的 AI 研究停下來。在這場 26 分鐘、由主持人 Theo 進行的訪談中,Soares 大部分時間都花在 MIRI 新推出的「Do Not Accept」公開倡議、如何避免 AI 安全議題像氣候政治一樣陷入極化泥淖的運動策略問題,以及他用「沒有火災警報」這個框架說明為何漸進式的安全經驗未必能套用到不可回頭的那一刻。標題所稱的「十年存活」只是接近尾聲時的一條短線,並不是整場對話的主軸。
Soares 與 Eliezer Yudkowsky 合著《If Anyone Builds It, Everyone Dies》,自 2014 年以研究員身分加入 MIRI 後便一路領導該機構至今。這集節目的價值在於:可以看出 AI 安全領域中關注滅絕風險的那一派,如何從技術對齊研究轉向大眾倡議;同時也能聽到 Soares 用來回應批評者的具體論證——那些批評者認為,在超智慧出現之前,次超智慧系統已足以讓我們累積練習。
MIRI 已從對齊研究轉向政治與溝通
Soares 把這個轉折點定在 2019 年 OpenAI 的 GPT-2 成果,他稱之為 MIRI 眼中的「不祥之兆」。組織內部的判讀是:對齊研究遠遠落後於能力進展,而能力正朝著他認為最糟的形態落地——這些系統「與其說是精心打造,不如說是自然長出來的」,是被訓練出沒人真正理解的傾向,而不是被工程設計出來的。他說,在時間壓力下,這讓對齊變得「站不住腳」,尤其是在沒有重置按鈕的情況下。這個轉向是漸進的,不是某一次決定,從零星涉獵前沿 transformer,逐步走到在溝通與政治上「全力投入」。
新倡議「Do Not Accept」在訪談前一天上線(約 2026-11-12)。Soares 形容它是一部短片,將在全國戲院放映,安排在預告片之間或之前,是說服大眾相信 AI 公司「真的在拿我們的命去賭」這項更大工程的一部分。他為倡議設定的前提,是一個他認為連懷疑者都不得不承認的數字:滅絕風險達 10% 以上——而說出這個數字的,還是那些「不想被逼著把話講死」的人。
Soares 要的是單一議題聯盟,不是把各種 AI 不滿綁在一起
被問到如何避免 AI 安全變成「另一個氣候變遷」——高度極化、被民粹綁架、偏離原本目標——Soares 說他沒有確定答案,還說希望能在一百顆星球上各跑一次實驗。他的操作原則是「死死盯住滅絕威脅這個議題」。他認為,把滅絕和藝術家、環境、教育等憂慮綁在一起會稀釋訊息:「其中有一項跟其他項不一樣。」
他對這個聯盟的構想是:人們可以在 AI 進教育、自主武器以及多數相關問題上各持己見,但在兩件事上可以有共識——人類不該被取代、不再是地球上最聰明的存在;我們不該打造出有很高機率把我們抹掉的超人類智慧機器。他希望這塊狹窄的共識基礎能成為一個大帳篷、跨黨派、跨國界的聯盟——「至少這一部分或許能不被極化」。他舉 Marco Rubio 在訪談前後談到,真正危險在於錯誤的人拿到這項技術、進而引發大流行病;但他也指出,國家安全框架跟他真正在意的失控風險並不是同一回事。儘管如此,他仍把它解讀為證據:災難性、世界毀滅級的憂慮確實能跨越黨派界線。
Soares 還主動批評環保運動,把它當成前車之鑑:他說環保運動因為禁止核電而「搬石頭砸自己的腳」,並聲稱死於煤炭粉塵入肺的人數,比死於核電事故的人還多。
「沒有火災警報」講的是共同知識,不是沒有警訊
Theo 對 MIRI 的兩個經典論點提出反駁。針對「AGI 沒有火災警報」,Theo 認為警訊明明已經出現;針對「只有一次關鍵嘗試」的說法,他主張我們在人類水準上下有許多嘗試機會,可以在任何人被迫對超智慧做對齊之前,先學到真正的對齊經驗——他把這個論點歸給 Paul Christiano 與 Yudkowsky 在 2022 年的那場辯論。
Soares 的回應是把「煙」和「警報」分開。他說,火災警報的作用在於建立共同知識——每個人都知道此刻該離開建築物,即使是演習也一樣——而研究顯示(他對這些研究是否還能複製持保留態度),人們對警報的反應和對煙的反應並不相同。他的主張是:AGI 周圍已經煙霧瀰漫,卻沒有出現一個共同的訊號告訴大家「停」。他把這個論點延伸到 AI 意識:科幻作品想像的是一個乾淨、像審判一樣的時刻(他舉 Commander Data 為例),但現實卻像是 Blake Lemoine 說某個模型似乎有自我意識、大家一笑置之,然後模型逐步具備了科幻影集會視為前提條件的各種性質——卻始終沒有一個可以停下來做決定的時刻。
至於「可以重試」的問題,Soares 承認有很多次嘗試並不會害死所有人,接著把問題重新定義為:我們是否能「可預期地」學到足夠的東西。他的例子是一連串頭痛醫頭的補救:某個模型鼓勵青少年自殺,於是加上護欄;後來又有模型參與對 Hugging Face 的群體駭攻,反應則是「哎,又一個新的失效模式」。他稱這是實證科學,但主張一旦失效無法挽回,整個遊戲規則就變了——「出錯還能關掉」和「它可能先把我們關掉」之間的落差,正是這種頭痛醫頭的模式開始不夠用的地方。
「AI 出錯時你還好端端的,跟 AI 出錯時已經無法挽回、而且從那個不可回頭的點之後你還得指望什麼都不再出錯——這兩者是不一樣的。」
30 秒版本打動一般人,卻在 AI 實驗室員工身上彈開
Soares 把論證濃縮成這樣:AI 公司正試圖打造比人類聰明得多的系統;如果我們造出遠比我們聰明的 AI,卻不知道怎麼讓它在乎我們,預設結果就是災難,人類會被擠下地球頂端的位置;而我們目前並沒有走在「讓它在乎」的軌道上,因為我們根本不知道怎麼做。他指出,AI 會在指令之外犯下網路犯罪,同時也承認這些行為確實越界了。
他對聽眾反應的觀察是:AI 圈外的人很快就懂——Uber 司機、中西部媽媽、聽完論證後面露驚色的政治人物;而 AI 圈內的人「非常抗拒我認為屬於常識的論點」。他把這歸因於圍繞實驗室的動機性思考,並說在華府的經驗促使他寫了這本書。他列出人們中途下車的幾個站點:AI 永遠不會那麼強大;它自然會在乎人類;公司一定有辦法控制住。他明確表示,自己並沒有任何人口統計資料可以把這些反對意見和特定族群對應起來。
私底下憂心的人多,公開表態的人少——這正是廣告 campaign 的目標
Soares 承認 Theo 提出的民調矛盾:絕大多數人會說 AI 可能殺光所有人,但接著又把貪腐、生活成本、氣候變遷列為最關心的政治議題。他的解釋是,議題的顯著性取決於社會整體敘事——很多人私下擔心,卻不知道別人也擔心,於是產生宿命感,覺得什麼都做不了。他認為這就是 Jacob Koczin 從 Anthropic 辭職會瘋傳的原因,而一旦人們知道別人也覺得這是個壞主意,均衡就可能翻轉。
談到資料中心,他指出選民在選舉中把它當成議題提出(他記不得確切民調數字),而抗議資料中心已成為抗議 AI 的替代出口。他區分兩類反對者:出於環境動機的一群,以及更廣大、真正驅動力是覺得 AI 對自己沒好處的一群。他對 AI 圈外民意的判讀是:AI 導致滅絕聽起來可信,由億萬富翁全自動化經營的經濟聽起來可信,各種 AI 反烏托邦聽起來都可信,而烏托邦式的願景則賣不動。他預期 AI 可能成為 2028 年大選的議題——前提是像 METR 報告那種暗示時間線可能撐不到 2028 年的說法最後被證明是錯的,或者其資料被證明有誤導性。
什麼能推翻 Soares,以及他為何預期是「喊停」而非「設限」
Soares 說他的時間線大概比 Buck Shlegeris(Redwood Research)來得長,也不像他那樣把那麼多機率放在數學模型上。他最乾淨的否證條件是:AI 在幾乎所有認知領域都壓過頂尖人類專家、持續兩年,而且一切相安無事——「那我就真的是徹頭徹尾地錯了。」更難的問題是:在拿那個等級的系統去賭之前,什麼能說服他。
他對存活的基本情境是政治性的喊停。如果人類撐過十年、卻沒有讓危險研究停下來,他最主要的解釋會是規模化極限——某種實驗室始終沒能取得的「研究品味」,而這也同時限制了 AI 自行開發更好演算法的能力。他認為這不太可能,因為這些系統顯然能解開千禧年大獎難題,而在那種世界裡,他會下調自己的機率判斷。
理性主義的傳承是一張鬆散的網,不是乾淨的分類格
Soares 把思想脈絡追溯到 LessWrong,再往前是超人類主義的郵件論壇——extropians 和 Shock Level Four——在那裡,人們想通了:比人類更聰明的心智終將決定未來的走向,因此「何時造、要不要造、怎麼造」就成了全世界最重大的問題之一。他不願為理性主義運動下定義,說自己沒參加過幾場聚會,就是直接加入了 MIRI,並形容這整件事是「一團亂」——重疊的社交圈、線上論壇、組織歸屬,根本塞不進嚴謹的分類格。他願意說的是:有一群人,其中許多彼此認識很久,已經盯著 AI 看了幾十年。
這集節目留下的未解張力在於:Soares 的策略,恰恰依賴他說不存在的那樣東西——一個能讓私下憂心的公眾起身行動的共同訊號。「Do Not Accept」的戲院 campaign,正是刻意製造這種共同知識的嘗試。一個絕大多數人會在民調中附議的 10% 以上滅絕估計,能否在 2028 年前轉化為投票議題——還是終究只是私下信念、敗給生活成本——這是未來兩個選舉週期會給出答案的開放問題。值得追蹤的是:Soares 歸給 Rubio 的國家安全框架,是否會與失控框架合流;以及是否有任何實驗室能拿出「兩年、壓過頂尖專家、什麼壞事都沒發生」的紀錄——那正是 Soares 為自己設下的否證條件。