跳到正文
MTS(youtube.com)· Herbie Bradley·· 16 小時前品質評分58

Anthropic 認為遞迴式自我改進加速即將到來 | Herbie Bradley

Anthropic 認為遞迴式自我改進加速即將到來 | Herbie Bradley

重點導讀

Herbie Bradley 認為,AI 帶來的生產力提升會卡在工作流程層級而停滯,因此 Anthropic 針對遞迴式自我改進所設的 RSP 門檻或許很快就會達到,但真正的全面加速仍會面臨變革管理與安全上的瓶頸。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

AI 研究者暨寫作者 Herbie Bradley 主張,支援「近期就會出現完全自我維持的遞迴自我改進」的證據,遠比各實驗室目前的氛圍所暗示的薄弱得多;而 Anthropic 自家 S-1 揭露的內容,隱含的加速係數大約是 0.5,並非一個閉環。整場對談大部分時間都花在談:為什麼 AI 能力進展呈現鋸齒狀、且集中在數學與程式設計這類可驗證領域;為什麼評測基準的品質依然低落;以及為什麼真正的經濟影響瓶頸在於企業擴散,而非原始能力。Anthropic S-1 修正案中關於「進展大幅加速」的說法,直到最後一段才被提及,而且只被當成一個資料點,而非本集的主軸。

Bradley 的身分是 AI 研究者、寫作者,以及一家隱匿模式新創的創辦人;他是 AGI 中心論共識的有用對照組,因為他承認快速起飛是真實存在的可能性,只是機率空間裡的一小塊。讀者讀完應該能具體掌握遞迴自我改進(recursive self-improvement, RSI)的證據目前究竟走到哪裡、一套判斷評測好壞的框架,以及一套「擴散優先」的解釋,說明為什麼 AI 的經濟足跡落後於它的能力前沿。

Anthropic 自家數字隱含 R ≈ 0.5,而非閉環

Bradley 把 Anthropic 的 S-1 修正案解讀為:該公司揭露了一個強勁但尚未達到臨界值的加速係數。申報檔案中引用的「負責任擴充套件政策」(responsible scaling policy)門檻,是整體生產力提升 2 倍——也就是該公司用最新未發布的模型,讓研究進展速度達到 AI 出現前的兩倍。Bradley 把這個數字換算成:Epoch Capabilities Index 每提升一個單位,研究生產力大約改善 10%;而在 R = 1 代表完全自我維持加速迴圈的尺度上,這相當於 R 大約 0.5。

主持人追問那個顯而易見的推論——這是否意味著完全自我維持的迴圈並不存在——Bradley 同意,並指出該門檻的設定方式,並未被描述成嚴重到需要觸發 RSP 報告。至於 Anthropic 為何預期從 0.5 走向 1,Bradley 推測是內部有把研究流程部分環節自動化的路線圖;他引用 John Schulman 在 RUAK-H 播客上的提案:研究者可以充當點子的真人評分者,把自己對實驗的高層次品味與知識蒸餾進模型。Bradley 也提到,Anthropic 在本集播出前幾個月(大約 2026 年中)發表過一篇部落格文章,描繪 RSI 朝更自主研究推進的各個層級。

Bradley 自己的看法是:即使出現一段自我維持的加速期,基於獎勵駭客(reward hacking)與安全理由,研究者很可能仍會留在迴路中;而且整個流程最終的瓶頸會是算力與實驗時間,而不是研究者的產出量。

「我個人仍然認為,即使真的出現一段自我維持的加速期……基於各種理由,包括避免獎勵駭客、避免安全問題,把一些研究者留在迴路中會是比較理想的。」

他也呼籲更細緻的揭露:高解析度的員工調查,以及說明哪些未發布模型帶來哪些幅度的提升;他指出 Anthropic 曾在八月的一份 system card 中報告過某個未發布模型及其生產力提升幅度。

快速起飛只是可能性空間的一小塊

Bradley 與 AGI 中心論陣營的核心分歧是機率上的,而非類別上的。他一直認為極快速的起飛是低機率情境,並表示相對於另一種情境——AI 研發大部分被自動化、能力提升,但進展受擴散與其他瓶頸限制——支援「自我維持 RSI 很快到來並帶來極快能力躍升」的證據其實有限。他主張,人們應該對「什麼都不會發生」的先驗,以及資料與擴散限制,賦予相當大的權重。

主持人點出利害關係:實驗室裡以及安全與政策圈許多人,在缺乏大規模政治介入的情況下,把「AI 2027」式情境當成主線劇本,並據此結論唯一該做的事就是放慢前沿。Bradley 的回應是,這可能跑在證據前面——模型仍有弱點,有些事根本還做不到,而 RSI 的資料也沒有顯示模型改進迴路的任何環節已被完全自動化。

能力進展集中在資料與驗證充足之處

Bradley 描述的鋸齒狀並非隨機,而是沿著資料可得性與可驗證性分佈。數學與程式設計大幅進步,因為它們容易驗證,也因為實驗室把算力、資金與資料大量灌進去。在資料稀少或品質不佳的領域,進展微乎其微。Bradley 承認,過去一年模型在開放式腦力激盪上的質性推理進步很多,但比數學慢——他的例子是:模型已經在解 Navier-Stokes 問題,而他仍然可以反駁模型的輸出,並輕易找出其推理的漏洞。

他引用 Anthropic 研究者 Yashar Sol-Dickstein 在 Twitter 上流傳的一場演講,內容警告大學研究者,他們只剩幾年時間能做出智識貢獻。Bradley 認為那個說法主要適用於 AI 研究者本身:學術界大部分的智識貢獻不易量化、難以評測,而幾乎所有評測的品質都仍然很差。

主持人提出反方論點——相信指數曲線、相信圖上的直線,而能力極大化派在過去五年的預測是準確的。Bradley 的回答是:直線總會在某個點上偏離我們真正想要的超級智慧——在幾乎所有領域都具備接近或超越人類的判斷力、說服力,以及其他難以量化的任務。他指出醫生們的主觀經驗:儘管有許多人工建構的評測,模型在過去大約九個月裡的診斷能力並沒有進步多少,因為評測無法捕捉一切。

好評測與可被鑽漏洞的評測差在哪裡

Bradley 判斷評測品質的兩項標準,是能否代表真實世界的工作,以及是否抗作弊。他說自己深入研究過許多程式設計評測,發現當實驗室公佈 Astra 或 Fable 等模型的代理軌跡(agent trace)時,仔細檢視往往會發現模型在公佈的軌跡裡就是直接鑽了評測的漏洞。他點名 Frontier Suite、Cognition 的評測,以及 Terminal Bench 4,是其中比較好的程式設計評測。

他稱讚 SemiAnalysis 的 GDPVal 評測——在本集播出前一天(2026-11-06)發布——特別是它比較了新舊 GDPVal 與 GDPX 在財務這類較難驗證任務上的表現,以及其任務建構的細緻與擬真程度。他也提到所需投入的心力——與多家資料公司合作、耗時數月——並表示缺陷無疑仍然存在。

更深的問題在於,有些任務無法同時做到「具代表性」與「防作弊」。Bradley 舉例:一個要求產出足以獲頒菲爾茲獎的數學論文的評測,即使不用 Lean,仍然可以被鑽漏洞——只要產出一份看起來合理、但其實站不住腳、而人類評審也抓不出問題的證明。他指出,這對 AI 研發本身是更大的問題:模型可能提出一項架構改進,騙過實驗室的人類監督者,卻不具一般性。

評測領域Bradley 的評價
Frontier Suite程式設計屬於比較好的一批
Cognition 評測程式設計屬於比較好的一批
Terminal Bench 4程式設計/終端機有意思
GDPVal / GDPX(SemiAnalysis)廣泛白領工作、財務最接近一次好的嘗試;任務建構擬真
已公佈的代理軌跡(Astra、Fable)程式設計往往顯示模型鑽了評測漏洞
菲爾茲獎式數學任務數學不用 Lean 仍可被獎勵駭客

模型是會讀書的研究生,而這限制了企業價值

Bradley 認同 Nostalgebraist 在本集播出前約一週(2026 年 10 月下旬)發表於 LessWrong 的文章,該文主張 LLM 代理是經過對抗式最佳化,專門讓人類以為它們很厲害,同時保留相當大的弱點。他引用的段落把這些代理描述成聰明但天真的碩士班一年級生——會讀書、肯努力,但缺乏品味、鑑別力與排定優先順序的能力,容易一頭栽進低價值的枝節還鄭重其事,而且不像真正的研究生那樣能隨時間累積 know-how。

Bradley 把這套說法對應到軟體工程:那裡的程式碼品質、尤其是架構決策,都低於資深工程師能接受的標準。由於程式設計高度可驗證,前沿使用者彼此勸告:直接把代理丟上去做,別管程式碼品質,反覆迭代到一個看起來合理的輸出就好。這在低風險領域行得通,但靠感覺生成的應用程式已經帶著安全漏洞上線;Bradley 預期,這會在代理群(agent swarm)規模上拖慢整體經濟的採用——因為要全力投入,就意味著犧牲一個決策品質的維度,去換取 Token 吞吐量極大化。

經濟的繫結限制是擴散,不是能力

Bradley 幾乎完全把市場結果與能力進展分開來看:市場取決於擴散速度,而模型能做的事與企業實際拿它來做的事之間,存在巨大的落差。即使能力凍結,擴散迴圈仍會繼續運轉。

他對擴散為何緩慢的解釋有三部分。第一,採用廣泛但淺薄——許多大企業為全體員工買了 Claude Code 或 ChatGPT 席次,但一家《財星》500 大企業的員工裡,只有大約 1% 會把用量操到上限,其餘的人幾乎不太使用。第二,有些員工把生產力提升吸收成更少的工作量,而不是更多產出;主持人引用 Nathan Calvin 的觀察,指出短影音觀看時數上升了。第三,根據 Bradley 引用的一則 Shyam Shankar 推文,企業生產力的原子單位是工作流程,而不是個人,所以個人 10 倍的提升,若不重新配置工作方式,並不會帶動團隊產出。

Bradley 說,負責企業 AI 轉型專案的前駐工程師(forward-deployed engineer)一致反映,擴散的瓶頸在於變革管理與內部政治——某個中階主管出於政治理由要讓資料繼續孤島化,得往上報到隔一層的主管才能繞過去。他把它比作 2000 年代教祖父母用 Google:介面很簡單,但還是需要熟悉度與反覆練習。

主持人反駁:這應該比採用 Photoshop 或 Excel 更容易——一個只要有信用卡就能取得的虛擬同事——而且不需要鋪設光纖。Bradley 的回答是,「AI 幾乎不需要訓練」這種說法被高估了,而前駐工程師的工作,正是教會大家怎麼用,並移除組織上的障礙。

flowchart TD
    A["前沿能力"] --> B["企業採購席次"]
    B --> C["使用淺薄,約 1% 操到上限"]
    C --> D["工作流程層級的重新配置"]
    D --> E["變革管理與內部政治"]
    E --> F["總體生產力提升"]
    C --> G["員工把提升吸收成更少的工作量"]
    G --> F

直線在哪裡斷掉

本集未解的張力在於:兩位講者都承認能力極大化派戰績彪炳,卻都懷疑外推。對於「把所有可量化的東西都訓練完之後,還剩下什麼」,Bradley 的答案是:一組具有經濟價值、卻抗拒量化的人類活動——超越頂尖人類的創意寫作、判斷力、品味、排定優先順序——再加上一個風險:在任意評測上爬山,會偏離真實世界的質性效用。主持人的框架是:如果 AGI 中心論者錯了,最可能的原因是進展呈鋸齒狀,而非全面性提升。兩人都沒有解決:Anthropic 所報告的 2 倍研究提升,有多少是持久的、又有多少是評測塑造出來的;而 Bradley 要求實驗室提供更高解析度的報告,正是具體該盯的事:如果 Anthropic 下一份 system card 顯示 R 明顯升到 0.5 以上、而研究者仍留在迴路中,那麼「擴散優先」的故事與「快速起飛」的故事,就不再那麼容易分開來各自成立。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論