跳到正文
MTS(youtube.com)· Theo·· 11 天前品質評分58

為何遞迴式自我改進會撞牆|Ramez Naam

為何遞迴式自我改進會撞牆|Ramez Naam

重點導讀

Ramez Naam 主張,AI 的進展來自指數成長的算力與資源,而非遞迴式自我改進;因為真實世界的資料顯示報酬遞減極為陡峭,而超智慧只有在數學、遊戲這類高度可驗證的領域才站得住腳。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

投資機構 Planetary VC 的投資人 Ramez Naam 主張,遞迴式自我改進(recursive self-improvement)終將面臨陡峭的邊際報酬遞減;而 AI Futures Project 預測 2027 年底將出現超人類 AI 研究者,這個預測建立在理論之上,而非實測資料。這場對談大部分時間都花在反對「快速起飛」的實證論據上:ECI 基準測出了什麼、又測不出什麼;METR 式任務時長估計與 OpenAI 真實內部資料之間的落差;以及為什麼超智慧在圍棋、形式數學這類可驗證領域說得通,在混亂領域卻說不通。

Naam 是 Machine Learning Street Talk 播客的回鍋來賓,主持人 Theo 在開場時將他介紹為 RSI 敘事的懷疑者。讀者讀完應該能掌握 Naam 提出的具體數字(真實世界任務時長 15 分鐘,對比 METR 估計的 11 小時;P99 為 3.2 分鐘,對比約為其 130 倍的 P300)、他提出用來更新判斷的檢驗方式,以及他的結構性論點:前沿進展的最佳解釋,仍是研發支出呈指數上升,而不是 AI 改進 AI。

反對快速起飛的論據建立在實測資料上,而非模型

Naam 的核心反對意見是方法論層面的。他看過的每一個失控式 RSI 模型都是數學建構,而這些建構內部的選擇(程式碼產能提升如何對應到研究速度、能力增益如何複利)都沒有拿真實測量值來校準。他說,一旦真的做了校準,回饋迴路遠比模型假設的弱得多。

他點出一個具體的建模錯誤,並歸因於 Ryan Greenblatt:大約是平方根關係,也就是每位開發者的程式碼產出變成四倍,AI 進展速度就應該變成兩倍。Naam 說,OpenAI 和 Anthropic 內部的資料顯示,程式碼行數的增幅遠超過四倍,卻沒有對應的四倍進展。他也引用 Anthropic 自己對躍升至「Mythos」模型的說法:公司追溯這波能力提升背後的想法,結論是來自人類的努力,而非 AI。他說,這個發現大致上沒有出現在 METR 的報告裡,到了後來的「Fable 52」系統卡更是逐漸消失。

「這些失控式 RSI 模型全都建立在理論上,建立在人們寫下來的數學上。我們必須拿真實世界實際發生的情況來校準。」

Naam 明確表示,他並沒有排除加速。推理模型(o1)是真正的斷點,永久改變了規模化的斜率,他也預期還會有更多這類發現。他否定的是「當前證據支援自我維持迴路」這個主張。他也坦白自己的偏誤:11 年前他寫過一篇部落格文章,主張奇點比看起來更遙遠,並承認自己可能過度執著於邊際報酬遞減。

ECI 每提升一次成本就更高,斜率幾乎沒動

Naam 的核心量化主張是:前沿每增加一個對數單位的支出所換得的 ECI 進展,基本上沒有改變。他描述一張 2024 年 10 月至今公開 AI 前沿的圖表,顯示最佳可用模型的 ECI 只加速了溫和幅度,依他估計是 25% 到 35%。他說,METR 自己的數字顯示,10 點 ECI 的成本從貴 43% 變成貴 39%,他稱之為雜訊。

指標Naam 對資料的解讀
前沿 ECI 加速,2024 年 10 月至今約 25–35%,不算異常
每 10 點 ECI 的成本(METR)從貴 43% 到貴 39%,即雜訊
Anthropic 自家研發支出曲線對數線性,即反指數的邊際報酬遞減
Mythos 至今 Anthropic 隱含的速度提升最多約快 50%

他也回應 Benjamin Todd 代表 80,000 Hours 提出的反駁:ECI 越高,價值呈指數成長,因為能力更強的 Claude 能賺到遠多於此的營收。Naam 同意營收才是正確指標,而非能力本身,也承認營收成長大致由能力驅動(2023 年的 Claude 1 不可能賺到數百億美元)。但他指出一個混淆因素:營收也會透過擴散而成長,因此能力成長與營收成長無法乾淨切分。他讚許 80,000 Hours 與 Todd,但堅持所有模型都必須拿現實來檢驗。

真實世界任務時長比預測低了一個數量級

Naam 指出的最尖銳實證落差,在於 METR 式任務時長估計與實驗室內部回報的數字之間。OpenAI 在 2026 年 8 月底公佈逐月內部資料時,真實世界任務時長是 15 分鐘。同一個模型依其 ECI 分數外推的 METR 式估計,則意味著能以 80% 成功率完成、長達數小時的任務,依 Naam 的數字大約是 11 小時。他說,最初的 AI 2027 預測假設的時長還要長得多。

Naam 承認 METR 自己的但書:其估計採用低脈絡假設,衡量的是不熟悉該問題領域的開發者需要多久,而熟練的實作者可能快上十倍。他說,即使把這點算進去,落差仍有一到兩個數量級。他也點出 METR 自家數字內部的可靠性問題:Mythos 預覽版的 P99 任務(99% 的情況下能完成)約為 3.2 分鐘,大約是它在 P80 所能做到的事情的 1/130。他主張,擠出最後幾個九的可靠性,正是進展最困難的地方。

他稱 OpenAI 8 月底的報告是樹立標準的揭露,因為它提供了 2026 年 1 月到 8 月、在明示成功率下的逐月任務長度;他也提到 DeepMind 隨即在 Gemini 4 報告中跟進,但只給了單一月份的區間。他的訴求是:所有實驗室,包括 Anthropic,都應定期公佈這類資料。

超智慧只在回饋便宜、評分完美的領域才說得通

Naam 把「超人類 AI 研究者」與「通用超智慧」分開,視為非常不同的主張。關於通用 ASI,他挑戰一個他認為毫無實證根據的假設:超智慧按定義就是通用的。已經存在超人類表現的領域共享四項特性,而缺少這些特性的領域,正是論證崩解之處。

flowchart TD
    A["領域特性"] --> B["高度可驗證、符號化"]
    A --> C["100% 準確的通過/不通過評分"]
    A --> D["無限的合成訓練資料"]
    A --> E["所有回饋都在運算中發生"]
    B --> F["今日已達超人類:圍棋、西洋棋、部分形式數學"]
    C --> F
    D --> F
    E --> F
    A --> G["混亂、難以評分、需要真實世界接觸或等待實驗"]
    G --> H["Naam:超智慧尚未成立"]

他舉的例子:AlphaGo Zero 自己跟自己下了 2,900 萬局,比最有經驗的人類圍棋大師一生能下的局數多出兩到三個數量級。Waymo 必須跑數十億英里的模擬里程加上 1,000 萬英里的真實道路里程,才達到人類青少年大約一千英里就能做到的程度。在生物學領域,AI 工具確實強大,因為沒有人讀過每一篇實驗論文,而模型讀過了;但它們仍受制於既有的資料以及能取得的資料。Naam 的結論是:在可驗證領域,超智慧幾乎不可避免;在需要物理實驗或人類判斷的領域,時至今日仍未成立。

預測者靠的是先驗信念,不是資料,才得出 2027 時間表

Naam 對 AI Futures Project 為何預測 2027 年 11 月會出現超人類 AI 研究者的解釋是:先驗信念,而非證據。他指出,領域內許多人在深度學習起飛之前就對未來形成假設,有些人讀 Eliezer Yudkowsky 的時候,Yudkowsky 還不認為機器學習是通往 AGI 的可行路徑。他也坦言自己的先驗信念是反方向的。

他肯定 AI Futures Project,包括 Eli Lifeland 與 Brendan Halstead(預定為下一集來賓),把數字寫下來並建立明確模型,也指出他們並未假設像轉向推理模型那麼大的斷點。他們的起飛來自一個自動化程式設計師以更快速度產出更多東西。Naam 的反對意見是:他們假設的回饋迴路強度,遠高於他在 2026 年 9 月文章中測到的水準。他也指出機器學習一個早於 transformer、至今未變的結構性問題:投入加倍,換來的速度提升只有其中一小部分。

他想問他們的問題是:真實世界任務時長資料在何處支援這個預測?他們如何把實測的 15 分鐘時長,與 AI 2027 內建的多小時假設調和起來?

Naam 小幅更新了判斷,並主張應向實驗室施壓要求資料

Naam 說,自他 2026 年 9 月的文章以來,METR 週四的報告與 Fable 52 的發布讓他改變了想法。他現在認為,我們很可能正看到實驗室內部第一次真正的 AI 助力,但邊際報酬遞減的速度遠比遞迴式自我改進模型假設的陡峭,而且仍遠弱到不足以自我維持。他指出 Fable 52 的模型卡承認在「研究品味與判斷」上仍有弱點:擅長執行,不擅長開創性研究。

他也點出,Anthropic 在 2025 年大部分時間在 ECI 上落後於前沿,之後才從後追上並領先,至少領先到 OpenAI 下一次發布為止;而其中部分進展反映的是 AI 輔助寫程式降低了摩擦。METR 對 Anthropic 內部人員的訪談(Naam 認為這比測量更弱的證據)描述的是 AI 讓測試一個想法、跑一輪 16 格實驗矩陣變得更容易,而不是 AI 在挑選研究方向。

他的底線是一個請求,而非預測:公佈細緻、即時、逐月的資料,說明內部模型實際能做到什麼,好讓理論能被拿來對照現實。

「擠出最後幾個九的可靠性與能力,會非常、非常困難。」

尚未化解的張力在於:Naam 自己的框架容許一個他無法預見、規模相當於推理模型的斷點,而他也這麼說了。值得追蹤的發展是實驗室的揭露:如果 Anthropic 等公司跟隨 OpenAI 2026 年 8 月的做法,定期公佈內部任務時長資料,RSI 之爭就能變成可測量的問題,而不是先驗信念的較量。在那之前,2027 年的預測與 Naam 的懷疑,都建立在已公佈資料只能部分裁斷的假設之上。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論