Dwarkesh Patel 分析 AI 助理何時能媲美頂尖 AI 研究員
The avalanche that hit math is coming for AI development
AI 已能解出一些過去很難的數學問題,這讓作者重新思考 AI 何時能做好 AI 研究。
- 他認為,許多研究工作可以透過實驗結果檢查,AI 助理便能反覆嘗試不同方法,也能把大量工作分給許多 AI 助理並行處理。作者估計,AI 助理可能在 2028 年媲美最頂尖的 AI 研究員。
- 自動化研究或讓 AI 進步大幅加快。不過,持續學習、實驗所需的算力,以及研究想法越來越難找,都可能拖慢這個過程。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
作者以數學研究的可驗證進展作為參照,推演 AI 研究自動化可能如何加快模型進步,也列出持續學習與實驗算力等限制。
非常感謝Max Farrens、Gabe Fried和Thomas Larsen在撰寫和研究這篇文章的過程中,與我共同投入了許多時間。
你可以在YouTube、Spotify和Apple Podcasts.觀看或收聽我朗讀這篇文章。
如果你在今年稍早問我,我們距離超級智慧還有多遠,我大概會說至少還要將近十年。但過去三個月來,我的看法改變了很多。我一直在 Podcast 節目內外和人們辯論這個問題,也一直關注 AI 在可驗證領域的進展,並思考這對 AI 研究本身意味著什麼。
我現在認為,再過幾年,甚至可能只要幾個月,就會出現 AI,其 AI 研究能力足以媲美最頂尖的人類。我也開始相信,自動化 AI 研究將在短短一年內帶來如此巨大的進展,以至於不久之後(也就是 2030 年前,但也有可能最快明年),我們就會擁有至少能媲美各領域頂尖人類專家的 AI。我知道這是個驚人的主張,而且就在幾個月前,我自己也不相信。讓我帶你看看我的想法如何改變。
在談更具推測性的論點之前,我想先指出,我們有許多證據顯示,AI 已經大幅加速了最前沿 AI 的進展。
例如,獨立評估機構 METR 在 Anthropic 內部觀察三個月後得出結論,Anthropic 在範圍明確的任務上的整體進展速度,是一年前的 2 倍;而如今的加速,很可能「大部分歸因於 Anthropic 廣泛運用 AI 進行研發」。
OpenAI 在 9 月發布了一篇網誌文章,指出 OpenAI 研究人員中使用 AI 最頻繁的 10%,每天使用的內部程式編寫代理工具金額,從夏季初的約 $1,000,增加到 8 月底的超過 $7,000。
9 月,Anthropic 也發布了類似的文章,談到 AI 為自身帶來的提升。他們表示,截至 8 月,Claude「主導」了 Anthropic 超過 26% 的 AI 研發工作;而在 2 月時,這個比例還不到 1%。1
思考 AI 自動化 AI 研究可能帶來多大的影響,以及這可能多快實現時,對我來說,一項非常重要的新認知是:AI 的數學能力進展得如此迅速。現在的 AI 正以勢如破竹之勢解決範圍明確的數學問題。就在兩年前,我還問過 Dario,為什麼大型語言模型無法運用它們在這麼多不同領域的豐富知識,串連不同想法並做出新發現。如今情況果真如此:在數學這種完全可驗證的領域中,AI 進行搜尋並比對以發現新知的能力已經如此出色,以至於數百項重要成果(全球頂尖數學家和電腦科學家花了數十年試圖解決的問題),如今都成了順手完成的小任務,只為替未來模型的發布造勢。
從 2023 年的「這個模型連四位數加法都算不準」,到 2024 年的「這個模型在高中數學競賽裡幾乎解不出任何題目」,再到 2025 年的「喔,它能在國際數學奧林匹亞競賽拿下金牌」,接著是今年稍早的「哇,它正在解 Erdős 未解問題,但也許只是因為沒有人試著解過這些特定問題,而且文獻中已經有類似解法」,再到大約一個月前的「好吧,它他媽的解出了一道千禧年大獎難題,只花了 88 小時。」
小說《伊甸之東》裡有一句話:「諸神隕落,有一件事是確定的:祂們不會慢慢隕落,而是轟然墜落、粉身碎骨。」
數學進展確實偏重於那些容易驗證的部分,例如找出反例(而不是提出新理論)。Toby Ord 最近寫了一篇很棒的文章談這件事。他寫道:「目前的 AI 系統已開始自動化數學證明,但幾乎沒有證據顯示它們能提出有力的問題,或開創深刻的數學研究新領域。」
但換個方式說,同一個觀點就是:目前的 AI 系統已經解出一道千禧年大獎難題,卻還沒有能力提出有力的問題,或開創深刻的數學研究新領域。
而廣義來說,這種解決界定明確問題的能力,對機器學習研究的影響將比對數學更大。這是因為數學研究的目標不只是證明或推翻一長串猜想,還包括拓展人類對數學概念的理解。提出拓樸學、群論或笛卡兒座標網格的構想,遠比精確算出n 個點能組成多少組彼此相距一個單位的點對重要。我們之所以關注這類艱深問題,主要是因為它們或許能引出新的數學理論。
但在 AI 研究中,優先順序恰好相反。AI 實驗室主要關心的是,新的演算法配方在實證上如何提升訓練效率,或產生更聰明的模型。他們不在乎理論本身的價值,而過去十五年來深度學習的所有進展,其實也不需要多少新理論。在機器學習領域,埋頭逐一破解各種猜想的做法會極具價值,這在數學領域卻不是如此。
AI 研究其實和目前 AI 特別擅長的數學進展型別驚人地相似:憑藉超乎尋常的毅力,以及串連許多相鄰領域想法的超人能力,發掘大量唾手可得的成果。
例如,來聊聊 Transformer 架構。我朋友Sholto Douglas是一位 AI 研究員,他有一篇老是寫不完的部落格文章,說明人們其實可以早兩年發明 Transformer。也許這篇文章能讓他別再拖延,把文章完成;在此之前,我先簡述一些我和他討論那篇文章內容時談到的想法。
在 Transformer 論文於 2017 年發表之前,許多研究人員早已發現,注意力機制有助於更有效地平行化訓練,並在更長的序列中傳遞資訊。當時積極投入研究的 Chris Olah 曾表示:「我認為,Transformer 架構在當時是許多各自已證實有效的想法(注意力、殘差網路)的自然結合,並且將它們運用得相當徹底。」換句話說,對當時在這個領域工作的研究人員來說,這些核心組成部分都不令人意外。
那麼,為什麼 Transformer 沒有更早問世?其中一個原因是,只有在加入了另外半打的調整與創新之後,這種新架構才明顯優於當時的最新技術。雖然這些做法多年來都已見於文獻,2卻沒有人知道如何把這些拼圖拼在一起。做到這件事當然需要研究品味,也需要大量、又大量的小型實驗。
但我剛才描述的這件事——持續且有策略地配對數十種不同的想法組合——正是 AI 在數學領域的貢獻中展現出特別擅長的一種能力。
總之,就連 Transformer——可以說是自 AlexNet 在 2012 年掀起深度學習革命以來,機器學習領域最大的突破——也是 Claude 7 有可能發明出來的東西,只要 Chris Olah 要求它努力讓這個注意力機制運作得更好。
我想澄清,AI 研究的某些部分確實不像數學那麼容易驗證。這也是為什麼 OpenAI 沒有解僱所有研究人員,儘管他們已經有一個能自主解出千禧年大獎難題的模型。但我認為,AI 研究足夠容易驗證,因此 AI 很快就能和最優秀的人類一樣擅長這項工作。要說明原因,就得深入探討 AI 研究實際上如何進行;由於這些細節雖然有趣但偏技術性,我把它們留到附錄——如果你有興趣,讀完結論後可以繼續看。不過,我先給出自己對這件事何時實現的估計。
如果要我選出自動化研究人員能達到最頂尖人類 AI 研究人員水準的中位年份(並假設各實驗室不刻意放慢進度),我猜是 2028 年。
為什麼我認為 AI 能在兩年內變得如此出色?在所有能檢查答案並讓 AI 練習數千輪的領域——例如競技程式設計比賽,或範圍明確的開放數學問題——AI 都在短短幾年內從不如多數人類,進步到勝過最優秀的人類。正如我在附錄中詳述的,AI 研究也具備相同的可驗證特性。
當然,像 Ilya Sutskever 這樣頂尖 AI 研究人員之所以如此出色,很大一部分原因無法直接驗證,例如他能提前多年押對研究方向。但正如我們在數學領域所見,模型的泛化能力遠超過直接訓練的範圍。OpenAI 的模型顯然不是透過解答其他千禧年大獎難題來訓練的。它接受大量難度較低、較容易處理的數學問題訓練,並從中泛化,最終解決了人類從未破解過的難題。我預期 AI 研究也會如此:模型在可驗證的研究任務上經過數千輪練習,加上每一代模型的整體智慧都比上一代更高,將使模型即使面對我們無法直接檢查的 AI 研究工作,也能表現出色。
我想說清楚,要達成這個里程碑,很有可能需要更久,因為 AI 研究的某些重要部分仍然難以自動化。我猜有 25% 的機率要到 2032 年之後才會實現。3 但我也認為進展可能快得多,我們可能在 2027 年就達成這個里程碑。我認識的一些訊息最靈通的研究人員,過去幾年的預測紀錄都相當出色,他們預期 AI 最早明年就能在 AI 研究方面超越最優秀的人類。而且,把 METR 的發現——Anthropic 的 AI 進展速度在一年內翻了一倍——代入起飛模型,直接推算出的結果也是 2027 年。
正如曾受邀擔任本節目來賓的 Ajeya Cotra 在一篇探討這份報告的部落格文章中所說:
如果我們照字面理解,認為 AI 目前正讓 AI 能力進展的速度接近翻倍,並假設 AI 帶來的加速是平順的,這種簡化推算會得出結論:我們將在一年內達到極端超級智慧。
我估計的中位時間點沒有那麼快,是因為我不確定這種直接推算有多準確。但如果我們明年就達成這個里程碑,也不必感到意外,而且我們應該為這樣的世界做好準備。
一旦 AI 的 AI 研究能力達到人類最優秀研究人員的水準,演算法進展就會大幅加快。這有三個重要原因:自動化研究人員的速度快得多、每位研究人員都非常聰明,而且人數也會多得多。
如今的 AI 已經能以約 10 倍於人類的速度工作。4自動化研究人員也會全天候工作,包括夜間和週末。因此,每位自動化研究人員每個日曆週累積的工作量,約為人類研究人員的 50 倍。
當然,這不代表 AI 進展會立刻加速 50 倍。這些自動化研究人員仍會受限於實驗所需的運算資源,實驗本身並不會因此跑得更快,所以效益會遞減。但即使效益遞減得非常快,光是這一點也會讓演算法進展速度比目前快上許多倍。5
而且這還沒把以下因素算進去:在這種情境下,每位自動化研究人員在 AI 研發方面的能力,都至少會和人類最優秀的研究人員一樣出色。
我認為,某家前沿實驗室在特定時期約 80% 的演算法進展,都是由該實驗室最頂尖的 50 位研究人員推動的。祖克柏願意花數億美元網羅業界最優秀的人才,自然不是沒有原因。因此,這家自動化公司的每一位工程師和研究人員都能達到當今前沿 AI 實驗室最優秀人才的水準,也會讓演算法進展再大幅加速。
讓更多工作者投入問題,不一定總有幫助。例如,一群代理程式大概無法比單一代理程式快多少寫出一部好小說。但有些任務很適合平行處理:例如,看看下面的動畫,展示一群不同的 Claude 如何合作,將費馬最後定理形式化。這項成果包含數千個模組化子任務,每個都能獨立完成,而且每個代理程式都能自行檢查工作是否成功。
AI 研究更像是將定理形式化,而不是寫小說,因為其中有大量彼此獨立的模組化工作,也有可驗證的進展指標。這代表一群代理程式可以嘗試一千種不同方法,看看哪種效果最好,而且能針對流程中每個不同環節各自獨立進行。AI 公司已經由數十個團隊組成,各自獨立負責模型開發的不同部分:一個團隊改進預訓練資料的篩選方式,另一個協助設計特定型別的合成強化學習環境,還有一個撰寫更好的注意力核心,等等。在這類不同工作流程可以獨立執行與檢查的領域,投入大量持續嘗試、逐步改進的代理程式,通常能大幅加快進展。
再說一次,單靠增加更多平行工作的研究人員,效益會迅速遞減。任何曾在團隊工作的人都知道,有 100,000 位協作者不代表速度會快 100,000 倍,可能連 100 倍都不到。但有數量級更多的自動化勞動力,不可能完全無法讓速度至少快上幾倍。
因此,更快速、更聰明、數量更多的自動化研究人員結合起來,將大幅加快 AI 進展。但這種速度會持續下去、進一步加快,還是會放慢?這個問題甚至比初期的實際進展速度更重要。
有兩股相互競爭的趨勢值得關注。後續的進展速度,取決於哪一股趨勢最終影響更大。一方面,由於 RSI,自動化研究人員會持續變得更快速、更聰明,數量也更多。另一方面,隨著這群代理程式逐漸耗盡所有容易想到的點子,AI 研究將變得愈來愈困難。
順帶一提,「點子愈來愈難找」早已是現象。AI 公司每年都必須 將研發運算資源增加到四倍,並且 將員工人數增加一倍,才能維持相同的進展速度。
如果 AI 變聰明的速度快於點子變得難以尋得的速度,就會出現一種稱為「純軟體奇點」的情況。在這種情境下,即使不增加運算資源,AI 群體也會迅速打造出越來越聰明的自身版本,直到短短幾個月內,出現一種能力逼近現有晶片物理極限的超級智慧。
但如果點子變得難以尋得的速度,快於 RSI 提升 AI 研究能力的速度,我們就會迎來我所說的「火花」。AI 進步的幅度會相當於在一年內走完三到六年的進展。6接著,進展會逐漸放緩,直到我們建造更多運算資源,因為即使是超級天才般的自動化研究人員,也得進行更大規模的實驗,才能取得進一步突破。
如果一定要我估計,我會給「火花」情境 50% 的機率,給「純軟體奇點」50% 的機率。
不過要說清楚,即使是「火花」情境,也就是在 AI 研究自動化後的第一年取得約四年的進展,仍會令人難以置信。這相當於在短短 12 個月內,從 GPT-3.5 一口氣躍進到 GPT-6 Astra。回想一下這種躍進濃縮了多大的進展:GPT-3.5 能寫出還算過得去的五行打油詩,也能自動補完簡單的 Python 函式,但大多時候只是個沒什麼用的玩具;Astra 則能從頭打造完整 電子 遊戲,還能大量產出足以角逐菲爾茲獎的數學成果,讓我們如今都已經見怪不怪。
過去四年,我們從學齡前兒童進步到才華出眾的實習生。如果再有一次同樣幅度的躍進,起點是 2027 或 2028 年,那麼在稍微能驗證成果的領域,AI 很可能會變得遠超人類。例如,它提出下一代 AI 加速器的能力會勝過 Nvidia;如果能平等參與市場,它賺的錢會比 Citadel 和 Jane Street 現有的人類交易員更多。如果讓它遠端存取材料科學實驗室,它尋找室溫超導體的能力就會勝過全人類。
現在,你可能會問:即使是在資料中心內訓練的超級智慧,要如何在某些領域勝過人類專家?畢竟,人類專家的專業能力是多年真實世界經驗累積而來的。
目前,我們讓 AI 變聰明的方法,是用能在資料中心內自動評分的任務來對它們進行強化學習:AI 寫出的全新百萬行程式碼能通過單元測試嗎?AI 解出的未解數學問題更多了嗎?但顯然,世界上大多數事情並非如此。我在最近一篇文章中提過這一點:
我們要如何訓練 AI 創業?要如何打造一個擅長贏得官司的 AI?或是能在市場上進行當沖並獲利,或協助候選人贏得選舉的 AI?要讓這些任務順利完成,就必須與真實世界互動,無法單靠資料中心內的環境重現。
那麼,超級智慧會如何擅長這類事情?我先說清楚:我不認為我們能把每個現實世界問題的答案都直接寫進權重裡。我的主張是,擴大 RL 訓練規模,能讓 AI 具備必要能力,在新的情境中迅速進步,即使是在上述那些難以驗證的領域也一樣。
要真正擅長任何複雜任務,需要兩樣東西。一是領域專業知識。另一是更通用的一套技能,也就是能力出眾的人類所具備的那類技能,例如找出相關資訊、制定計畫、克服錯誤與障礙並持續推進、記錄所學,以及與他人合作。
在 RSI 期間,自動化工程師建立的 RL 訓練環境將比目前多出數萬倍。這些環境的執行時間會長得多、品質會更高、開放程度也會更大,涵蓋範圍則會遠超今日的環境。
AI 將學會在數不盡的虛擬世界中闖蕩;相較於今日的電玩遊戲,這些世界的差距就像 Bugatti 與馬車一樣。這些遊戲的難度、混亂程度、規模與寫實程度,都將遠超人類娛樂用途的任何作品。AI 必須與其他 AI 組成團隊,長時間合作或競爭。舉例來說,某個 AI 會被丟進一個蓬勃發展的模擬數位經濟體,裡面有數百萬個其他 AI,並被要求共同創辦一家成功的公司。而這個 AI 不會只停留在思考理想的公司架構……它會經歷一場演化過程,在數百年的公司競爭中找出最佳組織方法。
AI 也會透過對科學、科技、政治與文化史上所有事件進行無止盡的回溯測試來訓練自己——它們必須預測歷來每一項發現、發明、戰爭、選舉與季度財報。以下是一項預測訓練任務:如果訓練語料不包含 1700 年之後的任何資訊(遠早於任何人類有望發現廣義相對論的時候),AI 能否推匯出廣義相對論?另一個例子:給 AI 截至 1962 年的所有報紙文章,它能否預測古巴飛彈危機將如何發展?7
這些自動化研究人員將改進的不只有訓練資料。他們也會透過線上學習與樣本效率的突破,大幅改進基礎學習演算法(這兩者都有可驗證的替代指標,詳見我在附錄中的討論)。人類從資料中學習的效率與成效遠勝目前的 LLM;未來的 AI 在學習效率上也可能遠遠超越人類。
為什麼我認為可驗證任務中的能力會大量轉移到這些更通用的技能?原因之一是,即使目前的 RL 訓練規模只有智慧爆發期間預計規模的萬分之一,我們已經看到大量泛化能力。若把 Claude Code 或 Codex 用在它從未接觸過的專案上,它知道如何掌握情況、弄清楚各部分如何組合,接著著手完成一項雄心勃勃的任務。
當然,要衡量模型在不容易驗證的任務上進步了多少並不容易,因為如果能輕易驗證……那些任務就可驗證了。不過,你可以和新模型聊聊,再把它和舊模型比較。以我的經驗來看,AI 在與程式碼或數學幾乎無關的事情上進步了很多,例如協助我研究撰寫這篇文章時需要回答的抽象問題。8
支援能力遷移的另一項重要證據來自人類演化。我們通用的心智架構是由演化發展而來;演化是一種最佳化過程,但驗證機制相當粗糙:你有沒有成功傳遞自己的基因?在祖先生活的環境中,會影響這個結果的任務包括狩獵、抵禦掠食者,以及維持自己在部族中的地位。
這些只是人類如今能應付的各種任務中的一小部分。演化並未特別把我們塑造成能寫出普立茲獎得獎傳記、製造先進半導體、領導數百萬人口的國家,或開創新的數學分支。但演化在讓我們適應草原生存的過程中,打造出了一種通用型學習者。
訓練這些 AI 時,我們也在進行類似的過程,只是我們有意為之,而且採用的任務更接近當今世界取得成功所需的任務。與演化不同的是,AI 公司正努力在訓練期間提升能力遷移(例如,確保模型在訓練時未接觸過的困難任務上也能提升表現)。如果連遲鈍又盲目的演化,都能透過打造一個擅長在草原上繁衍自己的心智,實現這麼大幅度的能力遷移,那麼 AI 公司刻意投入心力打造靈活通用的智慧,讓它能在任何新情境中迅速上手,應該能取得更大的進展。
如今,即使是超級智慧的學習者,也無法在資料中心裡弄懂一切。因此,即使是這些 AI,也需要一些真實世界的經驗。但我認為,它們累積經驗的速度會比人們預期的快得多,而且部署後幾個月內就能超越頂尖的人類專家。
老實說,對於這些事情,我的直覺有一部分來自許多二十多歲的朋友。我看著他們在毫無相關經驗的領域中成就非凡,打造出世界頂尖的公司和事業。
歷史上有許多年輕人能力出眾,在自己闖入的世界裡大展身手。拿破崙 27 歲時,已連戰皆捷,擊敗歐洲其他強權規模大得多的軍隊。洛克斐勒 25 歲時,進入石油業才兩年,就已經在經營全球最大的煉油廠之一。
洛克斐勒和拿破崙確實需要經驗,但只需要幾年,而不是幾十年。無論這兩人的大腦裡發生了什麼,AI 應該都能複製(甚至超越:沒有理由認為人類就是快速從經驗中學習的上限)。
此外,不同於 Napoleon 或 Rockefeller,AI 只需幾週的日曆時間,就能累積多年部署所產生的經驗脈絡。舉例來說,假設你想讓其中一個未來的 AI 把 Fortune 500 企業經營得比現任執行長更好。它要多久才能上手?如果你讓它跟著那位執行長學習,第一天早上,它就能讀完公司歷年來產出的每封電子郵件、每則 Slack 訊息和每份檔案。到了第一天結束時,它的多個平行副本就能訪談每位員工和主要客戶,合計完成一個人需要花數個月才能完成的工作,之後再合併回來。顯然,有些回饋需要連續數月才能取得,例如你的行動如何影響季度盈餘。但即使把這點考慮進去,我們仍應預期,這些未來的 AI 在部署後幾個月內,就能在幾乎所有領域達到頂尖人類的表現。即使在這個中位數情境下,時間也已來到 2028 或 2029 年。
還要記得,即使在火花情境中,這一切也只會發生在 AI 研究完全自動化後的一、兩年內。事情不會就此停止。因為即使軟體進展逐漸停滯,AI 仍會持續推動發展,協助增加更多運算資源。即使沒有 AI 的協助,全球 AI 運算資源每年也大約成長 3 倍。而火花情境中誕生的 AI,在協助我們持續擴大運算資源方面會呈現不均衡的超人能力。它們會非常擅長設計 AI 晶片、規劃新晶圓廠的設計,甚至遠端操控機器人,協助建造晶圓廠和資料中心的零件。
因此,在火花情境中,AI 能力會持續提升;但由於進展是透過打造更多晶片、資料中心和機器人來推動,因此要花上好幾年,才能抵達純軟體奇點在幾個月內就能達到的同一終點:一種超級智慧,其與我們的差距,就如同我們與黑猩猩的差距。
在下一篇文章中,我會說明我認為這些心智會是什麼樣子,以及它們將如何改變世界。
前面我承諾過,會解釋為什麼我認為 AI 研究大多可以驗證,因此我會從這裡開始。接著,我會談談我認為針對 RSI 論點最有力的反對意見。
我想一開始就特別指出,由於預訓練和後訓練都可以驗證(下文會說明),因此,AI 相較於人類最令人不滿、也最重要的缺點——也就是樣本效率低落——同樣可以衡量。若要讓神經網路取得某種能力,你必須餵給它多得多的資料,遠超過人類學會同一件事所需的資料量。
但各種樣本效率都可以衡量。你可以測量模型要達到特定的預訓練損失值需要多少資料、要在強化學習環境中達到特定分數需要完成多少任務,甚至可以測量僅靠上下文學習,要在單次工作階段中提供多少回饋和時間,才能達到期望的表現水準。
樣本效率與線上學習實際上是同一個問題的一體兩面:如何快速且有效率地從真實世界資料中學習。數十年來,人們一直認為這是機器學習領域中最深奧的未解難題——相當於 AI 界的千禧年大獎難題。而數學已經向我們展示了,只要這類問題具備可驗證性,即使難度極高,最終也都會被攻克。
那麼,為什麼我認為樣本效率、線上學習以及機器學習中的其他問題之進展是可驗證的?嗯,AI 的研發大致可分為三大類別:預訓練、後訓練與推論效率。正如我將在下方解釋的,每一項都有強大且可驗證的替代指標,很容易針對其進行訓練。既然它們合在一起就涵蓋了所有演算法進展,這意味著整體而言 AI 的進步很容易被針對性訓練——從某種意義上說,這並不令人意外。我們能讓模型在可在資料中心內部測試的事情上變得更加擅長。而 AI 訓練本身,就真真切切地發生在資料中心內部。
請記住,這種可驗證性之所以有價值,有兩個原因。首先,它允許 AI 公司透過數千輪的練習,對模型進行強化學習(RL),使其在 AI 研究的特定環節變得更強。其次,這些替代指標讓 Agent 更容易並行運作,因為它們可以在合併自己的貢獻之前,於本地端檢查自己是否在特定排行榜上勝出。
當你在構建 GPT-7 時,你可以對它進行強化學習,讓它更擅長找出預訓練的算力倍增方法。例如,你可以設定一個 RL 目標,要求 GPT-7 必須將訓練一個 GPT-2 規模模型達到固定預訓練損失所消耗的運算資源降至最低。9
而一旦 GPT-7 構建完成,你就可以部署一個 Agent 群,來找出如何以盡可能低的困惑度訓練出一個 GPT-3 規模的模型。保留測試集上的損失作為預訓練進展的基礎,是極其容易驗證的。10
當然,在小規模下奏效的方法,在大規模下未必管用。而且需要具備品味,才能預判哪些有前景的小規模改進在組合進更大的模型時能真正開花結果。但這種直覺也是可以訓練的——例如,你可以建立一個 RL 環境,讓 GPT-7 預測在 1 億引數規模下取得的演算法改進是否能在 100 億規模下保持有效。儘管在這個「品味基準」(taste-bench)環境中進行 RL 訓練比 nanoGPT speedrun 更昂貴,但如果你擁有前沿實驗室級別的算力,訓練起來依然不算太困難。因此,即使是研究品味中至關重要的部分,也是可驗證的。
光是將預訓練自動化,就能從根本上大幅加快 AI 的進展。這背後有三個重要原因:
首先,預訓練會為模型的智慧與能力帶來極具通用性的提升。對此有一個深刻的解釋,與壓縮和智慧之間的關聯有關;如果你想了解更多,可以觀看 3Blue1Brown 的這部精彩影片。
第二,隨著你改進預訓練方法,就能訓練出愈來愈小、效能卻和先前較大的模型一樣好的模型,而且訓練速度更快、成本更低。這不只會加快預訓練,也會讓你在這個基礎模型上進行實驗和 RL rollout 更有效率。11由於自動化研究人員也是以這種更小的模型為基礎,你現在也能支援規模更大的研究人員群體。
第三,由於較小的模型訓練速度更快,RSI 迴圈本身也會隨之加快。在 RSI 期間,實驗室大概不會在多座資料中心園區展開為期三個月的預訓練。自動化研究人員大軍會以極快的速度找出演算法創新;等到大型訓練完成時,它早已被一個小得多、僅在一週前開始訓練的模型淘汰。這就像你若用今日的技術發射太空船前往半人馬座阿爾法星,它在途中很可能會被一百年後發射的太空船超越。此外,由於你能更快訓練較小的模型,並且每天執行數千次實驗,因此不必賭小規模實驗的結果能否適用於更大的模型。你已經在實際訓練的規模上完成測試。
宣佈,他們只用了訓練原始 GPT-3 一半的運算資源,就預訓練出一個效能媲美當今領先開源基礎模型(例如 DeepSeek V4 Pro)的模型(以今日成本估算約為 $500k)。再提升數個數量級,完全是合理的可能性。
以下是三種可驗證的後訓練代理指標:
第一,自動化研究人員可以嘗試改進後訓練演算法,讓你在新的環境集合中進行 RL 時,所需的運算資源、資料或時間都更少(這些都很容易衡量)。
第二,自動化研究人員可以致力於讓模型更擅長即時學習,而這方面的進展很容易衡量。舉例來說,如果把模型放進一個它從未受訓的環境,它要花多久才能瞭解情況並找出取得好分數的方法?它又要多久才能在一款從未玩過的電玩遊戲中進步?你也可以設計更多能衡量這類後設學習能力的真實世界任務。可以參考 ByteDance 的 EdgeBench,看看這類任務的範例。12
第三,你也可以直接衡量 AI 研發能力。Anthropic 有一項內部基準測試,名為 CoBench,其中包含約 500 個研究人員和工程師今年解決的真實問題。每項基準測試也是一種 RL 環境;Anthropic 可以利用這類 RL 環境,讓模型練習重現人類在前沿領域最近三到六個月的進展。
AI 研發的另一個重要部分,是設計模型及其周邊軟體,讓運算資源發揮更大效益。這一點尤其容易驗證。你可以輕鬆衡量 GPU 使用率、每個 token 的 KV 快取大小、前向傳遞的總 FLOPs、延遲等指標。
現在我要來回應對我關於 RSI 的論點最有力的反對意見。
我想先說清楚,這些瓶頸相當嚴重,確實會降低最激進情境下快速起飛的可能性。這就是為什麼我認為,我們會在 2028 年迎來從 GPT-3.5 到 GPT-6 這種規模的躍進,而不是明天就突然出現某種瘋狂的奇點。
但我認為,這些瓶頸並沒有完全消除這個未來情境的瘋狂程度(而且瓶頸的瓶頸其實相當寬)。讓我解釋原因。
過去一年半來,我一直主張,當今 AI 最缺乏的是從工作經驗中持續進步的能力。每次開啟新對話,對它們來說都像是上班第一天。而且每次對話中,它們只能保留幾個小時的資訊,因此無法累積數週或數月間逐漸得到的回饋或知識。去年 12 月,這是我懷疑我們短期內能否自動化 AI 研究的主要原因。當時我寫道:
這個自動化研究員要如何找出通用人工智慧(AGI)的演算法——這個問題人類苦思了將近一個世紀——卻連孩子具備的基本學習能力都沒有?我覺得這極不可信。
以下是我為什麼認為,目前缺乏持續學習能力,不會阻止我們在 2028 年前全面自動化最優秀的 AI 研究員。
首先,AI 公司或許到那時就能用和現有架構相當類似的方式,解決持續學習問題。以前我以為,我們受限於某種突破性技術,必須讓模型在每次對話結束時都能更新自己的權重。但現在我認為,只要擴大上下文學習的規模,讓對話實際上能持續好幾個月,應該就足以讓單一模型有效地從工作中學習。而且有許多、許多很有希望的 點子,可能讓各家實驗室大幅延長有效的上下文視窗。13
其次,解決持續學習問題,未必需要持續學習的模型。正如我上面所說,線上學習是個有明確且可驗證代理指標的機器學習研究問題。若你兩年前問我,Navier-Stokes 方程式和持續學習哪個比較難解決,我當時不會很肯定答案是 Navier-Stokes。事實證明,持續學習比較難,因為各家實驗室至今仍未攻克這個問題。但你有把握認為它真的難上那麼多嗎?難到比目前能解決千禧年大獎難題的模型聰明一兩年的非線上學習模型,即使像當前模型一樣健忘,也無法攻克嗎?
這些模型還只是笨拙的天才實習生,沒有長期記憶,卻已經能解決千禧年大獎難題。這就像看著有人一路翻著側手翻,速度卻仍跟得上 Usain Bolt。如果讓他們正常跑,我相信他們會更快。但誰說他們不能一路翻著側手翻,照樣贏得這場比賽?
話雖如此,我認為未來幾年內無法解決持續學習問題的可能性相當高,而且模型也無法靠其他優勢彌補這項能力的缺失。因此,我估計我們有 25% 的機率要到 2032 年之後,才能自動化達到 Ilya 水準的研究員。
有人可能會主張,我上面列出的所有可驗證代理指標都預設了目前的典範。但首先要弄清楚該驗證什麼目標——也就是選擇讓 GPT-7 攀登哪座高峰——本身就是 AI 研究的重要一環。這可以稱為「研究品味」。2018 年以前,幾乎沒有人認為,將下一個 token 預測的損失降到最低,是推動 AI 進展最可行的途徑。因此,也沒有人會費心打造 nanoGPT 速通環境,讓代理群體練習降低達到特定預訓練損失所需的運算量。
從現在走向 ASI 的過程中,我們難道不會需要跨越多個新典範嗎?而每個新典範難道不都會有某種我們事先未知的新代理指標嗎?在 RSI 期間,自動化研究人員要如何找到這些指標?
我有兩點回應:
Transformer 在當時既有的翻譯基準測試中已顯現其潛力(事實上,它的發明目的就是超越該基準測試);推理模型與既有的程式設計和數學基準測試,也有類似的情況。在「典範躍遷」之前建立的代理指標,似乎完全足以捕捉效能的大幅躍升。這是因為 AI 學習演算法的通用性相當高。
提出不受典範限制的外層迴圈代理指標並不困難:你的模型能解出幾道千禧年大獎難題;如果用 1905 年以前的資料訓練模型,它需要多久才能發現廣義相對論;它能多快精通完全沒見過的電玩遊戲;等等。
總而言之,我認為其他反對 RSI 影響力的論點更有說服力——如果這就是 RSI 最後沒能造成重大影響的原因,我會非常意外。
資料難道不是推動 AI 進展的主要投入之一嗎?如果資料沒有以相同的速度擴增,RSI 又要如何發生?
我的看法是,在 RSI 期間,資料仍會持續增加,但負責彙整資料的將是 AI。為預訓練和後訓練產製更好的訓練資料,本身就是一項機器學習研究問題,而 AI 越來越擅長自行完成這件事。14
資料確實是 AI 研發極為重要的投入。我和 Jerry Han 實際上曾對此進行研究——我們發現,過去六年間,預訓練的演算法進展中,來自資料改善的貢獻是來自模型改善的三倍以上。
然而,我認為人們沒有意識到,預訓練中的這些「資料」改善,其實非常符合一般 AI 研究的工作方式——基本上就是找出哪些篩選現有資料或產生新合成資料的技術,能在留出的語料上實際降低損失。15
RL 似乎也越來越符合類似的情況。DeepSeek 最近發表了一篇論文,談到他們如何對新模型進行後訓練。他們表示,基本 RL 演算法的改動影響小得多,而「合成資料與環境在規模、多樣性及可驗證性方面的系統性改善,幾乎解釋了所有觀察到的提升。」
而這些環境的製作方式也越來越自動化:「我們投入資源建立大規模的自動化流程,用於合成資料和建構環境……我們以難度和正確性作為獎勵訊號,反覆訓練模型,讓它建構出更好的任務。」
稍早之前,我曾用一個延伸的比喻,探討數學目前的加速發展,以及我們應該預期 AI 研究會如何演進。但 AI 研究和數學有一個重大差異。在數學領域,你只要用筆和紙推理,就能發現新知。在 AI 研究中,你需要執行實驗來驗證想法,而這需要運算資源和時間。隨著自動化研究者的數量增加,每個研究者能分到的實驗運算資源總量就會越來越少。
我對這項質疑的回答是,每個代理程式仍然能取得大量運算資源。前沿實驗室的運算資源每年都增加超過 四倍。如果這個趨勢持續下去,到 2027 年底,OpenAI 就能讓數千個代理程式各自每天執行一次 GPT-3 規模的訓練。16
請記得,2017 年原始 Transformer 論文中訓練的最終模型,使用 8 張 P100 花了 3.5 天,而如今租用這些 GPU 約需 50 美元(約為 GPT-3 訓練運算量的萬分之一)。
如果頂尖的人類 AI 研究者,例如 Noam Shazeer 和 Ilya Sutskever,每天都有足夠的實驗運算資源訓練一個 GPT-3 規模的模型,他們的進展或許會比現在慢。但如果他們完全沒有取得實質進展,只是坐下來抱怨自己的叢集太小,我會覺得非常意外。那麼,如果一間 AI 實驗室有數千位優秀研究者,每人都能取得這麼多運算資源,而且思考速度快 10 倍,你覺得它的效率會有多高?你會不想開張支票投資這間新型實驗室嗎?
如今實驗室的研究與實驗方式,反映出研究者的時間相較於運算資源極為稀缺——頂尖 AI 研究者個人的年薪高達數億美元。因此,實驗室目前使用運算資源的方式,無法告訴我們:如果運算資源而非研究者時間才是關鍵瓶頸,他們可以多有效率地運用運算資源。
RSI 代理程式群組能比目前的研究者更有效運用實驗運算資源,主要有兩種方式:
首先,他們可以用運算資源換取人力。為了節省珍貴的研究者時間,如今的實驗確實會、也應該會大量浪費運算資源。
人類研究者如今可能會平行啟動幾個大型多代理程式強化學習作業,而不是費心設定並仔細監控許多小規模的預訓練實驗。但如果瓶頸在於實驗運算資源,就可以多做前一種實驗。這些自動化研究者若正在執行強化學習作業,就能讀完每一份 rollout 紀錄;只要發現某項任務有問題,就能立刻暫停並重建整個環境。他們也能大量進行模型的小規模消融實驗,讓模型只提升一點點。如果一組代理程式決定合併運算資源,執行規模大得多的實驗,他們就能花上數十個主觀上的年頭,設計資訊量最高的整合實驗;實驗完成後,又能花上數十個主觀上的年頭,全面分析結果,再設計新的實驗。這些自動化研究人員也可能提出更好的小規模實驗學習方法。Scaling law 本身就是很好的例子——GPT-4 論文指出,他們能用訓練計算量少 10,000 倍的模型,預測出該模型最終的損失值。這家更聰明、速度更快的自動化公司會做的其中一件事,就是試著找出更多類似 muP 的 scaling 現象(muP 能讓研究人員根據小 100 倍的模型,預先估算大型訓練所需的最佳超引數)。還有多少類似的發現等著我們去挖掘?
我記得曾和一位 AI 研究人員聊天,他認為,從極小型神經網路中學習,可能會帶來非常多啟發。他這麼形容:「上方的諸神必定遵循和下方的螞蟻相同的原理。」
總之,謝謝你一路讀到附錄。我很快就會分享下一篇關於超級智慧的文章。
他們將「主導」定義為「根據高階提示,從頭到尾完成大部分任務」,並由人類負責監督。完全自主執行的工作比例,Anthropic 將其定義為「AI 完全自主運作,過程中沒有人工介入」,目前仍是 0%。但請記得,2 月時 Claude 主導工作的比例也幾乎是 0%。而現在低於 Anthropic 所稱「協作」程度的工作不到 10%;「協作」是指 Claude 在人類密切指示下「完成大部分工作」。
Sholto 將在他的部落格文章中說明,除非同時具備殘差連線(2015)、layer norm(2016)、Adam optimizer(2014)、交錯排列的 MLP 層、位置編碼和學習率預熱,否則以注意力機制為基礎的架構不會比 LSTM 表現更好。
即使在那樣的世界裡,AI 的進展也會在 2032 年之前大幅加速,因為 AI 不必自動化研究人員的整份工作,就能讓他們快上許多。假設 AI 在所有能執行的任務上都比人類快 50 倍,其餘工作仍以人類的速度進行。如果 AI 能完成研究人員一半的工作,研究人員只會快上約 2 倍,因為人類負責的那一半耗時依舊。若 AI 能完成 90%,研究人員就會快上約 8.5 倍;若能完成 99%,則會快上 30 倍以上。這就是 Amdahl 定律:無法加速的工作決定了整體速度。
OpenAI 表示,GPT-5.2 的能力比現今的模型差、效率也較低,但在其 GDPval 基準測試中,完成任務的速度比人類專家快 11 倍。原始生成速度也呈現相同趨勢:前沿模型每秒輸出約 60 個 token,速度約為人類說話的 13 倍,也超過人類打字速度的 50 倍。
我的直覺來自 Ryan Greenblatt 和 Eli Lifland 撰寫的一篇精彩文章。以下是改編自他們文章的思想實驗:想像一個「慢速版」OpenAI(我們稱它為 SlothAI)。它擁有和真正的 OpenAI 相同的運算資源,但研究人員每週只工作一小時。他們是全世界最懶惰的研究人員。SlothAI 的進展會慢多少?肯定不會慢 50 倍,畢竟即使研究人員一週有 98% 的時間在打瞌睡,實驗還是可以繼續執行。但 SlothAI 的人員只有一小時可以工作,究竟能設計並分析多少個周密的實驗?SlothAI 只得比真正的 OpenAI 更浪費運算資源。依我的直覺,SlothAI 的演算法進展至少會慢五倍。
但和一間滿是自動化研究人員的公司相比,OpenAI 就是 SlothAI。因此,任何讓 SlothAI 生產力降低的因素(例如研究人員能用來集思廣益、分析和設計實驗的時間少得多),同樣也適用於 OpenAI。人類的思考速度只是生物演化中的偶然結果。若我們的思考速度恰好就是再快也沒有幫助的臨界點,那未免太巧了。
單一年內 AI 進展三到六年的估算,實際上相當於該年原始演算法進展四到九年。這是因為該年的訓練運算量沒有大幅增加,因此還需要額外的演算法進展來彌補。這可是相當激進的估算!按照高階估值,就像是在一年內從發明 Transformer,一路進展到取得 GPT-6 的演算法配方。
而且,你可以在訓練期間,針對數百萬個其他歷史問題進行預測訓練;每次訓練時,AI 都能思考數百小時,甚至可能先為相關領域建立類似 AlphaFold 的計算模型,再給出答案。
顯然,即使是超級智慧,也有些預測是不可能做到的,因為世界本身具有混沌性。但很多預測並非如此。透過這類訓練,AI 將具備超越最精明、最有遠見的人類的科學與政治判斷力;在預測自身任何當下行動的極長期影響方面,它們會勝過俾斯麥、李光耀或 Leo Szilard。
舉個更具體的例子,我最近 發布了一項評測,讓不同模型在一款名為 Blood on the Clocktower、類似黑手黨的社交推理遊戲中一較高下。最近發布的模型徹底擊敗今年較早時發布的模型,在策略推理、長期連貫性、多代理協調和整體精明程度方面都展現出大幅進步。這只是眾多評測中的一種(想必沒有針對這些評測進行直接訓練),而 AI 在這些評測上的表現普遍都在進步。
目前已有一項類似的公開挑戰,名為 nanoGPT speedrun,它源自 Andrej Karpathy 對 GPT-2 型別架構的實作。
除錯也可以透過訓練學會:你可以在訓練過程中注入不易察覺的錯誤,並在模型找出錯誤時給予獎勵。我在 先前的一篇文章中整理了一些真實預訓練過程出錯的案例。
順帶一提,據我瞭解,這種情況已經在發生了——各實驗室愈來愈傾向訓練較小的模型並進行大量實驗,而不是單純擴大模型規模。
這些代理程式需要完成的任務包括:從雜訊幹擾的 LIGO 資料中偵測重力波、修復 regex 引擎,以及學習遊玩新的電玩遊戲。在這類環境中,代理程式可以花不少時間進行實驗、取得回饋,並調整做法。
人們談到持續學習時,往往把兩種不同的問題混為一談。第一種是讓單一模型副本在工作期間,像新進員工一樣,透過幾週或幾個月的經驗學習。正如我上文所說,我認為這主要會透過擴大情境內學習,以及打造能教會模型如何從這類經驗中學習的訓練環境來實現。第二種問題是讓基礎模型本身從部署於整個經濟體中的數百萬個副本所累積的經驗中學習,從而獲得廣度超越人類、任何人都無法比擬的經驗。這就是我所稱的廣泛部署智慧爆發。不過,要讓 AI 達到個別人類專家的水準,並不需要這種情況。
事實上,無論如何,AI 都必須超越人類資料的範圍,因為在 RSI 期間,模型的能力將超越人類(而在某些領域,現在已經如此)。
來看看開放式預訓練語料庫,以及它們如何隨時間演進。摘自我們的 部落格文章:「我們在 2019 年從 OpenWebText 起步,當時它只包含 Reddit 上獲得足夠票數的連結所指向的網頁,並經過去重和篩選,因此總量僅約 9B 個 token(GPT-2 受訓資料大多來自這個語料庫)。到了 2025 年,像 UltraFineWeb 這類開放原始碼資料語料庫不但規模大得多(透過擷取整個網際網路的資料),篩選方式也精密得多(例如訓練分類器來預測哪些資料經實證能提升模型效能)。這些都是機器學習研究的基本工作,不需要具備資料中心以外的專業知識。
OpenAI 在 2025 年底擁有相當於 174 萬張 H100 的算力。如果這個數字在 2026 和 2027 年間成長四倍,到 2027 年底就會達到約 2,780 萬張 H100 等效卡。以每張 H100 等效卡每秒 1e15 FLOP 計算,每年可提供 8.78e29 FLOP。原始 GPT-3 最終訓練作業約使用了 3.14e23 FLOP。這表示 OpenAI 在 2027 年底的運算叢集,每年應能支援 280 萬次相當於 GPT-3 訓練規模的實驗,約每天 7,660 次。即使只有三分之一的運算叢集用於實驗,1 萬個代理程式仍能各自約每四天進行一次 GPT-3 規模的訓練。