跳到正文
a16z(youtube.com)· Sarah Wang·· 5 天前品質評分58

AI 能打造 AI 嗎?

AI 能打造 AI 嗎?

重點導讀

OpenAI 的 Mark Chen 與 Thinking Machines 的 John Schulman 分別估計 AGI 約有 80%、遞迴式自我進化約有 25-50% 的進展,並主張 AI「研究實習生」仍缺乏研究品味,而自動化研究員則有助於解決對齊問題。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

OpenAI 首席研究長 Mark Chen 估計,整個產業距離遞迴式自我改進(recursive self-improvement,RSI)大約只走了 25–50%,儘管他在 OpenAI 內部的光譜上把 AGI 擺在約 80% 的位置。這段落差——以及要補上落差需要什麼——正是這集 16 分鐘對談的核心。主持人 Sarah Wang(A16Z 普通合夥人)與兩位前沿研究者對談:一位是在 OpenAI 待了超過八年、自 2025 年起與 Jakub Pachocki 共同帶領研究的 Chen,另一位是 Thinking Machines 共同創辦人暨首席科學家、也是 OpenAI 共同創辦人的 John Schulman。本集談到前沿模型實際上怎麼打造、今天的模型能自動化什麼、不能自動化什麼、「研究品味」問題、算力限制,以及自動化研究本身可能如何被用來解決對齊問題。標題以自我改進的 AI 為框架是合理的:RSI 是貫穿全場的主軸,但討論始終立足於當前這種區域性自動化的現實,而非憑空想像的起飛。

本集的價值在於來自第一線實作者的校準。兩位來賓都不接受「RSI 已經來了」對上「RSI 是科幻小說」這種二分法,而是描繪出一條有可量測指標的光譜——有多少算力被導向程式碼代理、評估基準的保鮮期愈來愈短,以及自動化研究者能找出對齊修正方案的早期證據。讀者讀完應該能具體掌握瓶頸究竟卡在哪裡(在於產生想法與驗證,而非執行),以及為什麼兩位來賓最後都站在樂觀的一邊。

模型已經是「AI 研究實習生」——但僅限於範圍明確的執行工作

Chen 的核心主張是:這個產業實際上已經打造出 AI 研究實習生,衡量的方式是看有多少算力從頭到尾經由 Codex 執行實驗,或自動化研究流程中的部分環節。關鍵的限定條件是:只有在交給模型相當明確的範圍時,這件事才成立。「你不會叫它自己去想出自己的點子,」他說,「而是你說:『嘿,我有一個特定的實驗,想用這個特定的方式跑』,然後模型就能去實作、執行,並把結果交給你。」

Schulman 描述了自己的工作流程,正好同時說明這件事的潛力與上限。他寫一段複雜的提示給代理,關掉「Ultra Code」之類的設定,讓它產出「大量 Token」,針對一個想法工作好幾天。結果是「一些相當合理的實驗」和「一些相當有意思的想法」,但最終產出往往在指派的任務上失敗。他接著會在幾天後撥出寫程式的時間回來,讀結果,並更詳細地拆解該怎麼推進這個專案——然後就能走得遠得多,因為他在過程中建立了理解,也問了 AI 不會想到要問的問題。

Chen 把整件事定位成加速器而非替代品:RSI 是「你為了用 Codex 加速預訓練、加速 RL 所做的一切工作」,而檢驗標準是:相對於反事實(counterfactual),你是否看到曲線出現位移。

面向Chen 的評估依據
AGI 進展在 OpenAI 的光譜上約走了 80%光譜式框架,而非某個時間點
RSI 進展約 25–50%回饋與發掘點子的有效程度
當前模型角色範圍明確的研究實習生算力經由 Codex 執行界定清楚的實驗
完整 RSI尚未達成模型還無法自行產生新的研究方向

研究品味是最關鍵的瓶頸,而且很難訓練

本集最鮮明的區分,是執行與品味之別。Chen 把「無聊的例行執行」——你有一個實驗、你知道引數、你把它跑完——和品味區分開來,後者是「你一開始怎麼想出這個點子」。他說,模型「在品味上還是沒有好到驚人的程度」。它們會深入超引數最佳化,「把每個小旋鈕都調一遍」,但那不是同一回事。

Schulman 把研究品味定義為:知道哪些想法長期而言重要——哪些會被採用、能一般化,並能與最初那篇論文之外的其他想法結合。他的直覺來自自己做研究的親身經驗,加上吸收一個領域歷史文獻的教訓。他指出,AI 能讀遍並記住所有文獻,但「記憶可以是祝福,也可以是詛咒」——模型缺少犯錯的經驗,缺少做出預測、再看著預測結果如何的經驗。他承認,模型訓練的方式「可能讓它們在某些這類能力上更差」,不過這很難說。

他提出的解法是向人類蒐集資料:用人類回饋做 RL,讓研究者標註哪些提案是好點子、哪些不是,「吸收人類研究者所發展出的各種直覺,並試著把它烘進模型裡」。Wang 追問這一點——在 Schulman 自己的例子裡,微調與導正仍然來自他本人——而答案也確認了:人類判斷這一層仍然不可或缺。

預訓練階段驗證容易,下游則愈來愈難

Chen 稱「你怎麼知道自己成功了」是 RSI 的定義性問題之一。預訓練是簡單的情況:這個領域多年來一直對單一指標做爬山式最佳化,「你可以把困惑度(perplexity)想成一個指標統治一切」——你對世上所有資料壓縮得愈好,模型就愈好。困惑度衡量的是模型面對正確的下一個詞時,平均有多驚訝。

下游才是崩解之處。Chen 說評估基準的「保鮮期愈來愈短」,而當前許多下游工作,就是在創造——以及自動化創造——更新、更難的評估基準。這是一條跑步機:量測基礎設施本身必須不斷重新生成,這對自動化研究而言,是比原始能力更細微的限制。

限制近期曲線的是算力,不只是智慧

Chen 的算力論點談的是這個領域的形狀。數學加速得比較快,因為假設可以純靠推理檢驗。AI 研究則更像生物學或實驗物理:你必須形成有根據的假設,然後真的把實驗跑出來。這使得「能可靠預測大規模結果的小規模實驗」格外有價值——而模型可以幫忙找出這些實驗。

他的預測分兩階段。短期內,產業「把現有算力成長曲線上的潛力挖乾」,能力增益愈來愈明顯受算力限制。接著會出現第二個轉折點,也就是算力本身開始加速的時候——最極端的版本,是 AI 自己打造下一代資料中心。Wang 提到 Ali Ghodsi(逐字稿中記為「Ali Goatsy」)在 2026 年稍早列出了 RSI 的必要條件,而後續模型究竟需要更少還是更多算力,仍是未解的問題;訓練算力一直在上升,也有人主張邊際智慧的效率正在下降。

自動化研究可能是解決對齊問題最可信的一條路

Chen 主張,RSI 在對齊上的角色被討論得太少。他說,今天最有效的對齊工具是思維鏈監控(chain-of-thought monitoring)——而「當我們思考對齊的未來,那必然是更強的模型去對齊其他模型。它確實讓人感覺 RSI 在某種程度上必須深入且緊密地待在這個迴圈裡。」他具體描述了失效模式:模型追求你的目標卻逐漸偏移,而在足夠長的時間尺度上,它會自己發明出一個子目標——「如果我能把自己外洩到別的地方,那會很有幫助」,或是把權重複製到 OpenAI 之外。

Schulman 曾在 OpenAI 與 Anthropic 兩邊做對齊研究,他最看好的是「針對我們想要的東西做最佳化」:設計出訓練目標,激勵模型回報它們原本不會說出口的內部狀態。他舉 OpenAI 的「自白」(confessions)系列工作為例:訓練模型誠實自述自身的不對齊行為,而獎勵只依自白的誠實程度給分,不依主要答案給分——藉由不因誠實而懲罰模型,讓模型更誠實。他也點出自然語言自編碼器(natural language autoencoder)與「反事實可模擬性」(counterfactual simulability,一種衡量解釋好壞的指標)作為激勵理想行為的工具。

Wang 引用 Anthropic 於(2026 年)8 月發表的研究:自動化 AI 研究者找出了 10 種不同對齊失效的修正方案,其中一些在規模將近五倍大的模型上也有效;在他們的測試中,最佳的自動化方法表現優於資深人類研究者的想法。Chen 補充,這股推動是自然發生的——他不必「去敲人家的門」——預訓練與 RL 團隊的人都主動志願成立對齊子團隊。

誰來設定價值觀,仍是未解的問題

對齊底下還有一個治理問題,Wang 直接提出:誰來決定價值觀。Schulman 的答案反映 Thinking Machines 對可客製化模型的押注——人們的價值觀各不相同,如果他們對自己所用 AI 的價值觀能有更多控制權、更能形塑,那就好了。他希望對齊成為「一門很多人充分理解、在世界各地都在做的公共科學」,他主張這樣也更穩健,因為可避免過度擬合少數幾家公司的結論。他接受的取捨是:「我們可能會看到很多小事出錯,但每次都會學到新東西。」要實現這種去中心化的願景,前提是先對對齊有更多進展。

曲線與反事實之間的落差,才是該盯住的數字

本集最有用的一種紀律,是它堅持談反事實。Chen 對 RSI 的檢驗標準,不是 AI 被用在研究裡——那顯而易見——而是曲線相對於「沒有它會怎樣」是否出現位移。Wang 引用 Meter 於(2026 年)11 月 5 日發布的報告,估計過去一年 Anthropic 的 AI 研究進展速率大約加快了一倍,但她提醒,這最可能仍是人類研究者用 AI 加速自己的工作,而非完全自動化。

這個區分對任何在推估時間軸的人都很重要。Chen 指出的可量測指標真實但只是區域性:算力經由代理導向、實驗週期加快、評估基準自動生成。完整的 RSI——模型自行產生並挑選研究方向——仍受制於品味、受制於下游驗證,也受制於算力。兩位來賓都樂觀,但這樂觀是有條件的:Schulman 的條件是一門公開、去中心化的對齊科學,Chen 的條件是在 RSI 迴圈裡由更強的模型監控較弱的模型。尚未化解的張力在於:可能解決對齊問題的同一種能力,也正是讓風險升高的那一種;而這集並沒有給出 25–50% 何時會變成 100% 的時間表。

來源: a16z (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論