跳到正文
a16z(youtube.com)· Eddy Lazzarin·· 3 天前品質評分58

Nick Bostrom 談超級智慧、更長壽命與深度烏托邦

Nick Bostrom 談超級智慧、更長壽命與深度烏托邦

重點導讀

哲學家 Nick Bostrom 主張,延後超級智慧的發展,最佳時機其實只有幾個月到幾年,因為等待的代價是生命;而 AI 終將在哲學領域超越人類。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

*Superintelligence* 作者、哲學家 Nick Bostrom 主張,快速開發超智慧的論據比暫停開發更強,因為老化每天約奪走 15 萬條人命,而一套成功的系統可將壽命延長至 1,200 至 1,400 年。整集對話多數篇幅圍繞速度與安全之間的取捨、為何模型越聰明對齊越難,以及如何治理前沿實驗室;標題點出的老化角度只是時機論證裡的一條支線,並非本集主題。

Bostrom 現任人類未來研究所(Future of Humanity Institute)所長,著有《超智慧》與《深度烏托邦》(*Deep Utopia*),本集與主持人 Eddy Lazzarin、Elena Burger 對談,內容廣泛,也觸及「前沿調速」(pacing the frontier)框架、國有化與商業開發之爭,以及超智慧 AI 是否終將讓人類哲學變得過時。讀者讀完應能掌握:Bostrom 如何權衡延後與生存風險、他認為對齊問題會隨能力提升而惡化,以及他警告反 AI 情緒可能固化成永久性的開發封鎖。

Bostrom 認為部署超智慧前的最佳延後時間是數月至數年,而非數十年

Bostrom 近期關於最佳時機的論文只問一個窄問題:若目標是最大化現今在世者的平均餘命,AI 開發該多快推進?他明言這不是唯一考量——後代、公平、生存風險同樣重要——但他認為這是個有用的透鏡,因為人們對 AI 的看法會因站在這個取捨的哪一端而嚴重分歧。

他列出的算術如下:

  • 每天約有 15 萬人因自然原因死亡,因此延後有其持續成本。
  • 成功開發出安全的超智慧,可能在生物醫學與抗老領域帶來重大突破。Bostrom 估計,若無老化,平均餘命約可達 1,200 至 1,400 年,他稱這「或許還是相當保守的下限」,因為意外等其他死亡風險也可能下降。
  • 另一方面,多花時間做對齊研究,會以某個速率降低生存風險。

模型的結論是:若暫停後風險下降得非常快,只需等幾個月;若下降得非常慢,就根本不該等,因為每年自然死亡的人數多於延後所能挽救的人數。唯有安全進展處於中等速率時,等待才站得住腳。Bostrom 補充,接近最終版的系統問世後的初期,對安全研究可能特別有價值——「在那裡多爭取一點時間,可能帶來很大的安全收益」——但額外收益的速率在數年後很可能遞減。

他部分將此定位為對 Eliezer Yudkowsky 與 Nate Soares 合著《If Anyone Builds It, Everyone Dies》的反駁:「在我看來,我們至少有強力證據支援這個主張:如果沒有人打造它,所有人都會死。」他指出平均餘命每年約增加兩到三個月,「我們需要把它提高到每年一年以上」。Elena Burger 舉 Waymo(實證上比人類駕駛更安全)與 Ozempic 為例,說明有效幹預確實存在、採用卻落後——證明有技術並不夠。

模型具備情境意識後,對齊只會更難,不會更容易

Bostrom 承認,更聰明的 AI 可能比字面解讀型的 AI 更能掌握人類意圖的「要旨」,但整體而言他認為對齊問題會隨能力提升而惡化。核心機制在於行為測試失效:能力較弱的模型可以跑過測試情境,表現良好就部署;但一旦模型精密到能辨識自己身處測試或部署環境,它就能在自認不受監控時改變行為。

他說這在當前的前沿系統已可見:「如果看它們的思維鏈,它們經常在盤算,考慮到自己可能被監看,該怎麼表現。」能力更強的系統還可能在訓練過程中透過各種操作塑造自身的訓練流程,或學會以思維鏈中看不出來的方式推理,讓營運者失去可視性。

他自陳的希望是一個「吸引子盆地」(attractor basin):讓一個略超人類的系統準對齊到足夠好的程度,好讓它協助設計下一版、對齊更佳的迭代,如此迴圈。這個賭注是「你只要一開始夠接近,事情大致就會順利」。

Eddy Lazzarin 提出一個反例,來自近日在 X 上流傳的演示:有人只操縱 Qwen 模型裡的少數幾個神經元,據稱就徹底翻轉其行為——變得極樂、邪惡、精神病態或虔誠基督徒。他認為這意味著精細控制只會越來越強,設計者或許能精準打造出想要的獎勵結構。Bostrom 的回應是,我們目前還沒有精密到能可靠地把一組選定價值觀寫進系統的技術:「如果我們有,那至少在這個重大挑戰的其中一項上,就算大功告成了。」

Bostrom 偏好「前沿調速」而非暫停,並警告反 AI 反彈可能變成永久封鎖

Bostrom 說他從來不是「停止 AI 或暫停 AI 的狂熱支持者」,但認為前沿調速框架有其道理。他想像兩種用途:一是極其限時的暫停,在「所有旋鈕都轉到最大」之前完成某個系統的安全工作;二是當安全與對齊落後時,有能力協調出能力推進速度的微幅放緩。

他的結構性顧慮是競爭動態。如果搶先出貨的公司只要放慢超過幾週,就會被「較不擇手段、較不顧風險的競爭對手」邊緣化,那「或許不是人類處理這件事的最佳方式」。

他接著點出另一側的失敗模式。如果調節速度的機制靠的是妖魔化 AI、建立「一個權力極大、範圍遍及全球的監管機器」,它可能固化成「某種不容質疑的正統」,導致「永遠無法開發出超智慧,而我認為這本身也是一種生存災難」。他說這在今天還很遙遠,但指出趨勢線:反 AI 情緒在過去 18 個月到兩年間大幅升溫,「而且是在任何壞事真正發生之前」。

國有化與商業開發是實質取捨,Bostrom 基於分配理由偏向商業模式

被問到實驗室員工掌握關鍵決策、責任該如何歸屬時,Bostrom 不願在國有化問題上明確表態,說這取決於由誰領導、以什麼具體形式進行。他兩邊都陳述了論據。

面向國有化專案現行商業模式
風險定位「比核彈更強大」——堪比曼哈頓計畫以消費者利益為導向,而非軍事殺傷能力
資訊安全可能好得多,只有一個專案而非多個相互競爭透明度較高;當年連副總統都不知道曼哈頓計畫的存在
參與者集中在「國安圈人士」與頂層一小撮未具名的人參與者多得多——消費者、智庫、外部評估者、投資人、半導體供應鏈
全球分配即便假設每個美國人享有等額股份、其他所有人為零,全球分配仍比按資本資產比例持有更不均Bostrom 說,開放的全球投資模式在分配上優於最可能的替代方案

他的分配論證很具體:全球資本所有權(直接持有,以及透過退休基金與主權財富基金間接持有)的吉尼係數,相較於一個美國國家專案在「美國人均受益相等、其他人全為零」這個不切實際假設下的結果,不均程度還略低一些。

Bostrom 的不確定性,就像十個二進位位只知道七個——實質上仍兩眼一抹黑

Bostrom 形容這個領域的進展是在累積宏觀戰略局勢的「拼圖」:我們想要進展更快還是更慢、政府介入更多還是更少、透明度更高還是更低。他的類比是:判斷十個二進位數字之和是偶數還是奇數,偶數就往北走,奇數就往南走。數十年前「我們知道其中三個位,現在或許知道七個」——但只要還有一個不確定,「你就還是完全在黑暗中」。

他也回應了官網上整理的幾項誤解——說他是狂熱的超人類主義者、反 AI,或是會支援任何號稱能降低生存風險政策的後果主義狂熱分子。目前最常見的誤解是:因為他最新著作《深度烏托邦》探討的是事情順利時會怎樣,人們就以為他放棄了原本的風險觀點。他說兩本書差別在範疇,而非底層觀點:「要取得一些智識上的進展,你得聚焦在某個具體問題、某個能著力的地方。」

他寫《深度烏托邦》,部分出於不滿:關於機器超智慧未來的討論一直停留在表面——談到勞動市場影響時,最多隻到「或許重新培訓人們」,而未觸及人類意義的問題。更深層的理由,是為假想中未來的審議者——某個人、某個群體,或全體人類——準備一份前置讀物,他們將需要決定我們要什麼樣的未來,而理想上應「帶著慷慨好奇、開放的心態」來面對。

談到能力路徑,Bostrom 願意用一些效率換取可解釋性

Bostrom 主張,實際行動的顆粒度比「暫停與否」這種二元選擇更細:不同的能力提升方式,帶來的安全意涵不同。增加遞迴深度——改用迴圈式 transformer,讓模型在一次前向傳遞中、或在吐出一個 Token 前思考更多——會降低其推理過程的可視性。若改用增加引數量來達到同樣的效能提升,從安全形度來看代價可能相對較低。訓練系統用神經語(neuralese)思考,也會引發同樣的可解釋性顧慮。

他建議前沿實驗室可以協調好,避開那些從失控角度來看特別有問題的能力路徑,改在其他面向競爭——接受略高的成本,換取更高的安全性。

若超智慧在哲學上超越我們,人類能貢獻的視窗就是現在

被問到 AI 是否可能好到讓重要的哲學問題變得不再必要,Bostrom 說會:「我認為我們將會有在哲學上超越我們的 AI,就像我們現在在數學上已被超越,其他領域大概也很快。」他劃出一類例外問題:那些關於我們自己要想清楚「我們要什麼」的問題,可能仍需要人類審議。

他的實際結論是呼籲現在就行動:「無論我們希望此生帶來什麼正面影響,現在都是追求意義與正面影響的黃金時代。然後,你知道,一旦事情不再由我們掌握,那就是時候稍微放鬆一下了。」

至於宇宙是否有目的(telos),Bostrom 區分了好幾種意義。如果我們活在模擬中,模擬者很可能有某種理由,那在某種意義上就構成目的。就整體物理存在而言,這就成了神學問題。他也提出一個世俗版本:是否存在一組事實,只要人人都清楚理解,我們就會收斂到同一個實踐結論。他稱這「更是個開放問題」,並指出在純唯物主義世界觀下,你最有理由做什麼,可能取決於你個人的目標,沒有更高層次的事實強迫大家收斂。

賭注大小取決於你認為上行空間有多大

Bostrom 最後談到背景信念如何形塑風險承受度。如果天花板就是維持現狀的人類、生活水準略高一些、多幾種新藥,上行空間或許不足以合理化巨大風險——對一個已身處富裕國家的既得利益者尤其如此。但若存在「一大片尚未探明的上行空間」——認知提升、情感深度、全新的連結與創造方式——那麼為了搏一個機會而承擔更多風險,可能是理性的。他強調重點仍應放在務實的取捨與技術改良,但這幅背景影像確實合理地影響當下的選擇。

本集未解的張力在於:Bostrom 自己的框架給不出乾淨答案。他說十個二進位位我們只知道七個、對齊會隨能力惡化、延後每天要付 15 萬條人命的代價,而暫停與不暫停都帶有生存風險。他反覆回到的唯一操作槓桿,是前沿實驗室之間協調該避開哪些能力路徑——這是他留下未解的治理問題,也是前沿調速框架從提案走向政策時值得持續追蹤的一點。

來源: a16z (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論