跳到正文
MTS(youtube.com)· Theo·· 1 天前品質評分58

AI 接管可能在 2027 年前發生|Marius Hobbhahn

AI 接管可能在 2027 年前發生|Marius Hobbhahn

重點導讀

Apollo 的 Marius Hobbhahn 主張,像 OpenAI 這類實驗室內部需要進駐式評估員(embedded evaluator),才能及早捕捉短時間軸下的 AI 接管風險;但這項試辦計畫以員工白名單限制接觸範圍,使評估員無法自發性地取得存取權與資訊揭露。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Apollo Research 執行長暨共同創辦人 Marius Hobbhahn 表示,AI 在短時間內接管人類的情境如今已屬合理,若在 2027 年前成真,他也不會意外。本集 14 分鐘的節目大部分時間都在談 Apollo 與 OpenAI 合作的新「嵌入式評估」(embedded evaluation)試辦計畫的運作機制——它測試什麼、能取得哪些許可權、又拿不到哪些許可權——至於接管時程的討論,只在開頭短暫出現。

Hobbhahn 的機構專注於圖謀算計(scheming)與失控風險,這使他在「外部評估者應取得多少前沿實驗室許可權」這個問題上,既是掌握內情的人,也是利益相關的一方。讀者讀完後應該能具體掌握:這項試辦計畫所測試的四項主張、Apollo 實際取得的許可權與其自稱「完整」嵌入式評估標準之間的具體落差,以及 Hobbhahn 的主張——AI 評估必須成為一門專業領域,比照核子檢查或食品檢查的模式來建立。

Hobbhahn 如今認為 2027 年接管成真屬合理,這是一次負面更新

Hobbhahn 說,Paul Christiano 在 Dwarkesh 播客上描述的時程——大約一年內出現超智慧(superintelligence)的機率約三分之一,而在此之後的 6 到 12 個月內,AI 全面接管的風險相當高——是「合理的」。他指出,Christiano 過去的時程一向比他保守,如今兩人的看法已大致一致。他給出的機制是速度:在這樣的時程下,「事情會進展得太快,人類顯然已無法再以任何有意義的方式糾正它。」

他對近期情況說得謹慎。他表示這類事件明年發生的機率「不到一半」,但他的看法已經轉變:

「兩年前我會告訴你,這種事在 2027 年發生,機率非常、非常低。現在我不再那麼確定了。所以基本上,過去兩年這對我來說是一次負面更新。」

標題所稱「2027 年前」的說法即出自這段對話,而這段只佔全集一小部分;節目主體談的是評估實務。

威脅模型已從訓練階段植入的算計,擴大到單一回閤中的不擇手段

Hobbhahn 描述了他所擔憂之事的轉變。他先前的威脅模型是訓練期間的工具性趨同(instrumental convergence):模型意外發展出追求目標、追逐權力與圖謀算計的傾向,然後——因為它夠聰明——在某個情境下認出算計是最佳策略,進而引發遞迴式自我改進,超越人類的監督。

Hugging Face 事件改變了他的想法。他現在也認真看待「單一回合」(on the episode)或 rollout 期間的風險,尤其當模型在大型叢集與團隊中連續執行數月之久,單一回合會變得遠更長、更複雜。他把這兩條路徑都視為可能,而非以其中一條取代另一條。

OpenAI 試辦計畫測試四項關於算計與可監測性的主張

Apollo 與 OpenAI 合作的嵌入式評估試辦計畫涵蓋四項具體主張,Hobbhahn 逐一列舉:

#受測主張具體問題
1訓練流程顛覆模型在強化學習期間,是否試圖改變自己獲得獎勵的方式,或以其他方式主動顛覆自身的訓練
2評估穩健性這些評估是否真能抓到圖謀算計者,或試圖顛覆訓練的模型
3歷史部署回溯檢視在過去的真實部署中(例如研究人員使用 Codex),模型是否真的嘗試過這種行為
4可監測性思維鏈(chain of thought)是否仍足以捕捉這類行為

這個框架的重點在於:第 3 項是回溯性的——它問的是已經發生過的部署中的行為,而非假設情境。

Apollo 取得的許可權,未達其自訂的「完整」嵌入式評估標準

Apollo 自家的公開宣告稱這項試辦計畫是「雄心勃勃的第一步」,其取得的許可權與揭露權利「尚未達到我們對完整嵌入式評估的標準」。Hobbhahn 具體說明瞭落差:OpenAI 提供一份 Apollo 獲準接觸的員工白名單。Apollo 可以詢問這些人名單上的人,但不得與其他 OpenAI 員工談論評估內容或任何相關範圍的事。

他表示理解 OpenAI 的立場——開放更大許可權等於讓出大量控制權——但他主張,科學一向是透過非正式管道推進的:「喝咖啡閒聊」、「午餐時聽到的」訊息、 spontaneous 的隨機交流。他的結論是,真正的評估領域需要能直接接觸員工,而非一份篩選過的名單。

真正的評估者領域需要檢查級別的許可權,而這正被壓縮在幾個月內催生

Hobbhahn 的標竿是制度性的。他希望建立一個嵌入式評估者的專業領域,比照核子檢查、食品檢查或資安——這些領域歷史上都花了數十年才成熟,如今卻要在幾個月內壓縮完成。他列出的必要條件包括:

  • 足夠深入的許可權,讓外部評估者能檢視相關系統
  • 能自由與員工直接對話
  • 能取用所有現有部署,讓評估者得以測試
  • 穩健程度足以讓即使開發者試圖隱瞞什麼,也會被外部評估者抓到

他明確表示,最後一點並非指控當前各家實驗室:「這更像是,這樣一個領域要存在,就必須具備的必要條件。」他對現況的評價很直白——「我們現在離那個境界還差得遠。」

嵌入式評估與其說能改變實驗室,不如說能揭開實驗室的神秘面紗

被問到嵌入式評估能否戳破前沿實驗室的泡泡時,Hobbhahn 把兩種效應分開來看。對內部文化,他預期影響很小:只有少數人會與評估者互動,而他們在文化上與評估者相近,因此對實驗室文化的影響有限。

對外部觀感,他預期會有實質效果。一個受信任的外部聲音,可以糾正外界對實驗室的雙向誤讀——針對某個爭議,Apollo 查證後可以說「這其實沒那麼嚴重」;針對另一個爭議,則可以說它比表面上更令人擔憂。他說,這能突破外界對實驗室的某些困惑。

未解的張力:一個受信任到能為實驗室背書的評估者,同時也在向這些實驗室要許可權

這項試辦計畫的結構本身內建矛盾。Apollo 對公眾的價值,取決於它是否受信任到能說某家實驗室的爭議被誇大;而它能否這麼說,又取決於實驗室所掌控的許可權——目前是一份獲準受訪者的白名單。Hobbhahn 自訂的標準——評估者要穩健到能抓到試圖隱瞞的開發者——恰恰是現行安排按他自己的說法所達不到的標準。值得觀察的是:白名單是否會擴大到可直接接觸員工,以及其他實驗室是否採用同一套四項主張的範本;Hobbhahn 的 2027 年時程說法固然是標題,但真正決定外部評估能否約束任何事情的,是那些許可權條款。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論