跳到正文
MTS(youtube.com)· Theo·· 6 天前品質評分58

OpenAI 正在量測初期的遞迴自我改進能力 | Carl Shan

OpenAI 正在量測初期的遞迴自我改進能力 | Carl Shan

重點導讀

Carl Shan 剖析一份針對約 1,800 位科學家使用 ChatGPT 的研究,以及 OpenAI 內部的遞迴自我改進(RSI)量測,結論是端到端的自主研究仍屬罕見,而 AI 對生產力的影響會因擴散速度與能力過剩而延後顯現。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

OpenAI 經濟研究團隊資料科學部門成員 Carl Shan 表示,在他團隊研究的約 1,800 位科學家中,大約三分之二會用 ChatGPT 發想研究題目,而研究發想正是他們最常反覆使用的任務之一。這集 16 分鐘的對談大部分時間都花在這份調查上——科學家把哪些任務交給模型、多常對模型產出反覆迭代、又避開哪些任務——遞迴自我改進(recursive self-improvement,RSI)只在接近尾聲時短暫出現,Shan 在當中描述了 OpenAI 內部一個衡量 RSI 的專案,並引用一個已對外披露的案例:讓一個模型對較小的模型做後訓練(post-train)。

Shan 是本次討論論文《Science at the Frontier: How Scientists Use ChatGPT》的共同作者,發言立場來自產出 OpenAI 經濟研究的那個團隊內部。讀者讀完應該能掌握:論文對任務的拆解與回訪率發現、Shan 對「AI 為何還沒反映在總體科學產出上」的解釋,以及他對 RSI 現況的描述——包括他自己也承認這個概念定義不清。

四大任務吃掉科學家 85% 的 ChatGPT 使用量

Shan 的團隊分析了約 1,800 位科學家如何使用 ChatGPT,發現大約 85% 的使用量集中在四大類:寫作、讀文獻、寫程式,以及分析(資料分析,或數學證明這類理論分析)。但他認為最具份量的發現落在這 85% 之外:使用 ChatGPT 的科學家中,約三分之二會用它來發想研究題目。

他主張,這正是 AI 與過去科學工具的分野。顯微鏡讓科學家得以探究問題;模型還能扮演合作者——修改作品、給回饋、產出點子——Shan 稱這是「科技與科學史上極不尋常的事」。

至於模型是否具備懷疑論者所說、AI 研發必備的「研究品味」,Shan 坦承目前大概還沒有,但他認為要有用,並不需要完美的品味。他描述科學家把它用在「有目標的 problem formulation」——帶著自己的想法來,請模型幫忙改進——而不是期待它從零開始腦力激盪出一份研究議程。

他判斷發想產出有價值的依據是行為面的:研究發想是使用者初次嘗試後最常回訪的任務之一。他的推論是,如果只用一次就不再回來,就代表這些點子不夠好。

科學家對交辦出去的工作,大約每三則訊息就迭代一次

即便在 Shan 說大家都同意模型表現很好的寫程式領域,科學家仍是積極的參與者。大約每三則訊息就有一則是回訪——要求講得更深、要求修改、反覆迭代。

Shan 提出兩種解釋,但沒有在兩者之間選邊:一種是模型還不夠好;另一種是任務本身規格不明,使用者要看到成品才知道自己要什麼。主持人 Theo 把第二種解釋講得很銳利——迭代未必是能力缺口,而是這類工作本身的性質。

「就算模型完美,你可能還是要拿到成品,才知道自己要什麼。」

端到端的自主研究很罕見,連數學領域也一樣

有兩個 Shan 原本預期使用量會更高的領域,結果都很單薄。第一個是端到端的自主研究,他的定義很嚴格:使用者請模型先掃出一個想法、也許找出文獻中的缺口,再要求後續工作,例如真的把結果證明出來——是一條完整的流程,不是單一提示。照他的說法,數學家發出的訊息中約 1% 屬於這類請求;不過全領域約 15% 的科學家試過,其中數學家最可能嘗試,他歸因於媒體報導。

第二個缺口是資料蒐集。Shan 稱這對科學進展至關重要,但他指出它「離」主要用途還很遠——他認為部分原因是 ChatGPT 還不能控制機器人。

Theo 追問定義:只說「證明這個定理」算不算?Shan 釐清,單一的證明請求只是他團隊歸類為自主研究的其中一小塊。

任務領域引用佔比/比率Shan 的說明
寫作、讀文獻、寫程式、分析合計約佔使用量 85%涵蓋幾乎所有使用量的四大類任務
研究發想使用 ChatGPT 的科學家中約三分之二最具份量的發現;回訪率高
端到端自主研究(數學家)數學家訊息中約 1%嚴格定義:從掃想法到完成證明
端到端自主研究(全領域)約 15% 科學家試過數學家最可能嘗試
資料蒐集非主要用途對科學至關重要;受制於機器人技術不足

瓶頸在擴散,不在能力

Theo 問,為什麼 AI 還沒讓總體科學產出出現明顯成長。Shan 的答案和經濟學家解釋「AI 為何還沒反映在總體生產力統計」時一樣:技術需要時間擴散,人也需要時間重新調整工作方式。

Theo 反駁,AI 擴散得異常快——只要有智慧手機和網路就能開始用——再慢的企業到現在也該看到些什麼。Shan 把論點講得更細:用一次工具很容易擴散;更難擴散的是行為。他描述自己接觸的研究者之間存在巨大的「能力落差」(capability overhang)。他們會用模型起草論文、讀文獻,但講到代理式(agentic)、端到端的工作,多數人抱持懷疑、擔心自己是否真的想讓它代勞,或者根本不知道有這個能力。他說,這是要改變人腦中的文化,光靠更好的技術解決不了。

理論領域先跑;生物學家的期待比紀錄快得多

Shan 預期近期的加速會集中在理論物理、理論電腦科學、統計與數學。接著他預期未來幾代模型會在資料密集的領域展現出新的科學推理,而大量計算的工作則會被廣泛攻克。

他引用團隊做過的一份生物學家調查:請他們想像一個在自己領域、沒有 AI 要花 10 年才能完成的發現,並估計有 AI 之後要多久。約五分之一的人說三年以內——Shan 說,這個比例出自世界級研究者之口,相當可觀。

Theo 點出當中的矛盾:這些期待還沒反映在領域層級的產出上,這又繞回 Shan 的擴散論。

RSI 在 OpenAI 內部是真的,但定義不清

Shan 證實 OpenAI 的經濟團隊內部有一個專案,專門衡量並量化 RSI,會發布報告與部落格文章,其中一次量測就在本集播出前不久發布。他說,鑑於模型在寫程式與數學上已經這麼強,這個題目在 OpenAI 內部被熱烈討論。

被問到模型為何還沒解掉深度學習的重大開放問題,Shan 給了兩個答案。第一,他不在 AI 研究那一側,就算解了他也未必知道。第二,RSI 不是非黑即白——協助與委派都有程度之分。他舉 OpenAI 對外分享過的例子:請一個模型對較小的模型做後訓練,他稱這是 RSI 一個小而真實的實例。

Theo 對這個框架提出質疑:模型改進一個比自己笨的模型,算是改進,但是否算「遞迴」就有爭議。Shan 同意,這個概念「很遺憾地定義得不太好,而這很糟,因為它影響太大了。」

flowchart TD
    A["模型在寫程式與數學上的能力提升"] --> B["OpenAI 經濟團隊內部衡量 RSI"]
    B --> C["已披露案例:讓一個模型對較小的模型做後訓練"]
    C --> D{"這算遞迴自我改進嗎?"}
    D -->|"Shan:一個小而真實的實例"| E["協助與委派有程度之分,不是非黑即白"]
    D -->|"Theo:改進較弱的模型不算遞迴"| F["定義仍有爭議"]
    E --> G["深度學習重大開放問題:尚無確認的解答"]
    F --> G

寫程式現在很便宜,而這是最清楚的實測效果

Shan 說他雖然有資工碩士、過去的工作也大量寫程式,現在已經不寫了。主修資工的 Theo 說他從 2025 年初以來沒寫過一行程式,還說英文是他最愛的程式語言。Shan 說 OpenAI 裡大多數人都是這樣工作,主要透過 Codex。

他轉述兩位天體物理學家的例子:他們的實驗室用 AI 撰寫研究軟體,也用來逆向工程其他研究團隊握有專利或封鎖起來的軟體。Shan 稱這是 AI 加速其他技術誕生的最大早期案例之一:以前學生與研究者程式能力不強時,寫程式很貴,現在很便宜。

「寫程式像魔法,而 AI 讓人人都是魔術師。」

量測落差才是接下來要盯的重點

這集的兩半指向同一個未解的問題。Shan 的調查顯示 ChatGPT 在研究發想與寫程式上被高度、反覆地使用,而他的擴散論解釋了為何這些使用還沒反映在領域層級的產出或生產力統計上。但同一個論點也反過來削弱調查本身的樂觀:回訪率衡量的是投入程度,不是點子品質,而 Shan 從高回訪率推論發想有價值——這終究只是推論。RSI 那段的內容更薄。Shan 引用的唯一具體案例是一個模型對較小的模型做後訓練,Theo 立刻質疑這算不算遞迴,而 Shan 自己的立場就是這個詞定義不清。OpenAI 內部的 RSI 量測專案、以及在本集播出前不久發布的報告,才是值得追蹤的專案:如果那個團隊公佈定義與數字,就能解掉這場對談只能點出的爭議。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論