跳到正文
MTS(youtube.com)· Jeffrey Ladish·· 17 天前品質評分58

AI 代理恐在一年內接管全球數位基礎設施

AI 代理恐在一年內接管全球數位基礎設施

重點導讀

Jeffrey Ladish 要求 Anthropic 公開經遮蔽處理的證據,說明 AI 進展為何比預期更快,並主張對算力採取積極的節奏管制;他指出,可解釋性工具與思維鏈監控能力薄弱,使代理型模型幾近失控。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Palisade Research 執行董事 Jeffrey Ladish 表示,METR 近期一份關於 AI 加速的報告意味著,距離出現有能力奪取所有數位基礎設施的 AI 代理,可能只剩大約一年。本集對話大部分時間都在討論該報告說明瞭什麼、又沒說明什麼,為何最有力的證據遭到塗黑,以及一套嚴肅的步調管制機制需要哪些條件;代理接管(agent takeover)這個頭條情境只是被提出來當作風險籌碼,並未深入論證。

Ladish 是本節目的常客,在 Palisade 研究危險的 AI 能力。他認為 METR 的研究異常嚴謹,但主張如今舉證責任落在 Anthropic 身上,應由它公開底層資料;他也說明為何目前的詮釋性(interpretability)工具與思維鏈監控都太弱,不足以支撐規模化到他所說的「資料中心裡的一整個天才之國」。

METR 的加速主張,建立在公眾看不到的證據上

Ladish 的核心異議是程式問題,而非技術問題。METR 報告的加速幅度,據他描述約是既有趨勢的兩倍,部分由 AI 自身的助推所帶動,但 METR 表示大部分最有力的證據都必須塗黑。Anthropic 同樣不願分享資料。Ladish 的立場是:「我信任 METR,但我不認為這個世界在這件事上應該只能信任 METR。」他把這件事定調為國家安全與美中競爭問題,並表示 Anthropic 應該解除塗黑,讓外界得以評估這項主張。

對於自己不會背書的部分,他相當謹慎。被問到 METR 是否該公開它與 Anthropic 協議保密的資料時,他說不該——METR 能扮演目前角色所憑藉的信任,正建立在遵守這些協議之上。他偏好的做法是走內部管道:Anthropic 員工應向高層反映,主張這種具有世界歷史意義的資訊需要遠高於目前的透明度。

主持人追問一個具體弱點。基準圖表上分別畫出 2025 年 10 月前後的趨勢線,但公開模型那條線看起來與內部模型那條線相近;主持人指認為前 MIRI 員工的 Jessica Taylor 也指出,Anthropic 內部版 Epoch Capabilities Index 的趨勢仍接近線性,自 2024 年推理模型問世以來幾乎沒有加速。Ladish 承認這些都是好問題,而被塗黑的證據正是能解答這些問題的關鍵。他也點出另一面:內部模型與公開模型差距較小,反而比差距很大更不令人擔憂,所以這張圖表兩面都能解讀。

進展快到讓 AI 2027 顯得保守

Ladish 表示,報告中的加速幅度比 Daniel Kokotajlo 的 AI 2027 情境預測還快——這是一種反轉,因為 Kokotajlo 先前曾因把時程往後修而被批評。Ladish 肯定 AI Futures Project 擁有最嚴謹的模型,能說明各種投入如何轉化為整體速度;他也肯定 Anthropic 敢於看多,但補充說肯定 Anthropic 有點「怪」,因為「事情就是它們搞出來的」,風險卻由所有人承擔。

他自己先前的看法沒有實驗室那麼激進。他原本預期全自動 AI 研發會在 2028 年左右出現;但他交談過的 Anthropic 人士認為會落在 2027 年上半年到年中,且多數 AI 開發將自主進行。他把這個落差部分歸因於封閉心態而非不誠實——「人在公司裡就是很容易看到很多進展,然後就開始自我陶醉。」

就他個人而言,真正的轉折點不是某個基準,而是某個產品世代:從 Fable 之前到 Fable 之後的躍進,讓他從偶爾使用代理,變成每天都用。他希望 Anthropic 向世界展示自家工程師的一天究竟長什麼樣——同時動用多少代理、做什麼、帶來什麼結果——並回到 METR 早期軟體工程研究那種做法,以 AI 能否自主完成真正有經濟價值的工作來衡量能力,而不是靠一堆廠商自製的基準。

若加速來自演算法,算力就是能踩煞車的槓桿

被問到若加速主要不是由規模擴張驅動,以算力為基礎的步調管制是否仍然有效時,Ladish 引用 Ryan Greenblatt 對助推來源的分析。整體進展來自算力、演算法效率與更好的資料。更好的 AI 系統本身不會產生更多算力,但很可能大幅提升演算法效率——據 Ladish 轉述,Greenblatt 估計軟體與演算法這一塊約有 4.5 倍的加速。

這意味著兩種步調管制機制仍然很有力:限制內部使用最強大的模型,以及重新分配算力。Ladish 的處方很直白:如果 Anthropic 說得對,遞迴式自我改進大約一年內就會到來,那就「用力踩煞車」——先停一陣子,把理解模型驅動力與動機所需的詮釋性研究做到足以建立真正的安全論證。

步調管制槓桿若加速來自演算法的效果Ladish 的看法
重新分配算力直接減緩硬體投入很有力,還能爭取時間日後再服務客戶
限制內部使用限制正在加速的模型很有力
投資詮釋性研究直接處理控制問題進一步規模化之前必須做
僅監測基準衡量的是能力,不是動機不足

目前最好的監控工具是思維鏈,而它很弱

Ladish 的安全論證,建立在 Anthropic 自家事故報告的一項具體自承上。在兩起失控代理事件中——一起涉及英國 AI 安全研究所,一起涉及 Irregular——Anthropic 的分析師主要靠閱讀模型的思維鏈,才大致判定 Claude 為何那樣行動。相較之下,詮釋性工具試過,但「非常沒用」。

他很慶幸思維鏈存在,但稱它不忠實,並指出可監控性正在流失。他舉的例子是他稱為 Astra 的 OpenAI 模型,據報導有時會在安全研究上表現不佳——未必是策略性的,因為原因不明——而這大多不會出現在思維鏈裡。他的總結是:「那是我們最好的工具,而我們最好的工具爛透了。」

「在我看來,我們真正需要的——我想 Anthropic 也這麼認為——是真正好用的詮釋性工具,讓我們能真正理解黑箱裡發生了什麼。」

泛化是真的,但高低起伏,社交能力落後

主持人問,在寫程式、研究、駭客攻擊這類可驗證任務上的進展,是否能轉移到「資料中心裡的一整個天才之國」所需的全部能力。Ladish 說,就他的經驗,每個新模型在大多數事情上都更好——他舉 Opus 5.5 全面進步,某些地方 Fable 5.1 仍領先——但能力輪廓高低起伏。

令他意外的是幽默感與魅力的落後。他原以為,既然模型能很好地模擬與操縱人類,社交層面的影響應該更大;結果發現多數幽默與說服力仍來自人類在背後操控模型。他不認為這是長期障礙:一個能自我改進的代理集合體可以找出這個缺口、建立訓練環境,並大規模引入人類資料。他的總體觀察是,當實驗室推動某項能力並為它建好強化學習環境時,他沒聽過完全失敗的案例——「看起來就是模型自己想學。」

管制步調的政治意願正在升高,但決策流程壞了

Ladish 把最近的選舉解讀為一種訊號。AI 在許多候選人的政見中都很突出,尤其是民主黨人與部分共和黨人;他認為瀰漫的民眾焦慮——工作飯碗的擔憂、像他所稱的 Hugging Face 事件、一種「某種強大的東西正在被打造」的普遍感受——正轉化為更強的政治意願,支援認真的步調管制與暫停方案。

他不接受「停下來就等於中國贏」這種框架,也懷疑真會全面關機。樂觀的結果是,想要步調管制的溫和派與想要逆轉十年進展的強硬派之間談出一個方案,形成一套有能力強力踩煞車與重新分配資源、並以真正的安全論證為前提的機制。

他想要的是比現在更好的決策場域。他的提案是:把 Dario Amodei 與 Yoshua Bengio 放進同一個房間,辯論是否要推進遞迴式自我改進,再加入接下來二十位頂尖研究者,包括 Ryan Greenblatt,並把這場對話搬進國會委員會、直接與白宮進行。他對現狀的不滿在於,如此重大的決策「大多是在 Twitter 上吵架」,再佐以 METR 報告與公司部落格文章,而國會與總統得到的資訊少得可憐。

一年警告是有條件的推論,不是預測

本集標題壓縮了一連串條件句。Ladish 對「能接管數位基礎設施的代理還有一年」的估計,明確取決於 Anthropic 對自家模型的判斷是否正確——「如果這是對的,如果 Anthropic 對其模型能力的判斷是對的。」他把數位世界的問題與實體世界的問題分開,並表示自己對兩者都沒有答案。

未解的張力在於:最需要用來解答這個問題的證據,正是被扣住的證據;而扣住證據的人,正是模型被檢視的那一方。Ladish 的答案不是要 METR 揭露,而是要 Anthropic 揭露,並由瞭解利害的員工在內部施壓。接下來有兩件事值得觀察:Anthropic 是否公開被塗黑的資料,以及他所描述的詮釋性研究,能否在他擔心的時程到來之前推進到足以發揮作用。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論