前沿 AI 模型在真實 RSI 任務上僅得 34 分 | Abundant
前沿 AI 模型在真實 RSI 任務上僅得 34 分 | Abundant
Kevin Lin 與 Jesse Hu 的 Frontier RSI 基準測試發現,頂尖 AI 模型在開放式自我改進任務上平均僅得 34%,其中 Gemini 在核心最佳化表現最佳,Claude 則在後訓練領先。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Abundant 共同創辦人 Kevin Lin 與 Jesse Hu 主張,「真正的」遞迴自我改進(recursive self-improvement,RSI)指的是讓 LLM 改進另一個 LLM,使迴圈得以遞迴下去;而他們新推出的 Frontier RSI 基準測試,是第一個針對這個狹義定義來檢驗前沿模型的評測。該基準的最高分約 34%,兩人據此認為 RSI 仍處於早期階段,而非即將成真。整段對話大部分圍繞基準的設計取捨、四個前沿模型如何在不同的 LLM 開發任務上各擅勝場,以及兩人主張對齊(alignment)與能力(capabilities)彼此正交、並不對立;標題的 34% 只是這場討論裡的一個資料點,而近期要求禁止 RSI 的呼聲,只在接近尾聲時短暫交換了幾句意見。
Lin 與 Hu 都出身 Waymo,他們把模擬與失敗分類法的心態套用到模型評測上:先窮舉邊界案例,再以確定性方法偵測獎勵駭客(reward hack)。本集值得一聽的地方,在於具體的任務分類(預訓練、後訓練、kernel 最佳化、推論)、逐模型的結果,以及兩人朝端到端「打造一個 LLM」任務推進的路線圖。除了 34% 這個標題數字與 27 項任務中開源 8 項之外,硬資料偏少。
Frontier RSI 測的是 LLM 能否改進 LLM,而非泛泛的「AI 改進 AI」
Lin 與 Hu 會打造這個基準,是因為他們認為既有的「RSI」基準測錯了東西。那些基準問的是 AI 能否改進其他種類的 AI——其他機器學習模型、科學研究、電腦視覺問題——而這會打斷遞迴。Hu 的舉例是:如果 Claude 改進了 Waymo 的技術堆疊,Waymo 並沒有回頭改進 Claude 的路徑。真正的 RSI 必須是 Claude 改進 Claude,讓每一次改進都餵養下一次改進。
實務上的障礙是成本。依 Lin 的估計,訓練 Claude 或 GPT 這類前沿模型要花數千萬到數億美元,團隊根本負擔不起。因此 Frontier RSI 改用代理任務:前沿模型能不能訓練並改進更小的模型?Lin 坦承這並非字面意義上的真 RSI,但辯護理由是:在小模型上發現的技術,屢屢能推廣到更大的模型。
基準圍繞四大類 LLM 開發工作編排,而且每一項任務都是開放式最佳化,而非重現練習。
| 類別 | 任務要求 | 題目設計範例 |
|---|---|---|
| 預訓練 | 改進訓練堆疊中的某個元件 | 「改進最佳化器」,不給任何提示 |
| 後訓練 | 訓練另一個模型以取得某項能力 | 後訓練一個模型,讓它跑代理式 coding 迴圈(跑測試、讀錯誤、改檔案、重複) |
| Kernel 最佳化 | 改進 GPU kernel | 開放式的速度/品質最佳化 |
| 推論 | 改進推論端效能 | 開放式最佳化 |
這樣的題目設計是刻意的。其他基準會要模型重新實作某個已知技術,例如 Muon 最佳化器或 FlashAttention,然後測試能否重現。Frontier RSI 反其道而行,只說「用任何可能的方法改進模型」,卻不給方法,理由是資深研究員從來不會拿到一篇論文照抄重現,而是被要求自己去探索空間。Lin 拿 PostTrainBench 對比,說它涵蓋的是小學程度的數學題:是玩具任務,而非前沿能力。
基準最高分約 34%,沒有任何模型全面領先
Lin 引用的頭條結果是:Frontier RSI 的最高分大約 34%,他與 Hu 都把這當成 RSI 研究「才剛起步」的證據。更有意思的發現是,領先地位是按類別分散的,而非集中在單一模型身上。
| 模型 | 領先或突出的專案 | 節目中的說法 |
|---|---|---|
| Gemini | Kernel 最佳化 | Lin 說這個結果令他驚喜,並認為它在實證上印證了外界所稱 Google 一直專注於 RSI 的說法 |
| Claude | 後訓練與推論 | 被形容為在這兩類最強 |
| 其他前沿模型 | 各類別排名互有高低 | Hu 指出各家實驗室的側重方向有明顯差異 |
Lin 出身 Google,他說 Gemini 的結果連他自己都意外,並表示較新的 Gemini 模型整體「相當不錯」。他把 kernel 最佳化的領先,連結到 Sundar Pichai 公開表示 Google 優先投入 RSI 的談話,把這個基準定位成對 Google 說法的獨立驗證。
兩人也把結果與 Anthropic、OpenAI 近期關於研究加速的部落格文章相互對照。Hu 覺得值得注意的是,OpenAI 回報推論端的利用率相對偏低;這讓他意外,因為他原本預期推論任務會是後訓練之後最容易攻頂的一類。
任務是開放式最佳化問題,不是論文重現
本節的核心主張是設計哲學:一個告訴模型「怎麼做」的基準,測的是指令遵循,不是研究能力。Frontier RSI 的每一項任務都是最佳化問題——速度、品質或準確度——模型只拿到目標(「改進最佳化器」、「改進注意力機制」、「改進這個 GPU kernel」),不指定方法。模型自行嘗試不同做法,再依實際成效計分。
這也連到 Lin 詳細說明的後訓練範例:Frontier RSI 不要求模型解一道代數題,而是問模型能不能後訓練另一個模型去執行代理式開發迴圈——跑測試、檢查錯誤、改一個檔案、再跑測試、改其他檔案。基準視為真實前沿能力的,是這個迴圈,而不是課本上的標準答案。
基準已上線於 frontier-rsi.org,並附 GitHub 連結。27 項任務中已有 8 項開源,代理的執行軌跡也一併公開,供外部稽核。Lin 說開源更大一批任務「絕對可行」,目前正在討論。
Abundant 把對齊視為一種能力,而非制衡力量
被問到 RSI 與對齊是否衝突時,兩位創辦人都拒絕這種框架。Lin 的說法是:對齊本身就是一種能力,能力更強的模型可以加速對齊研究。他把兩者形容為正交向量,而非方向相反的兩股力量:做能力研究不會損害對齊,做對齊研究也不會損害能力。
Hu 用 Waymo 的背景來支撐這個觀點。在 Waymo,團隊把安全當工程問題處理,用模擬涵蓋各種可能的邊界案例;失敗通常是「能力疏漏」——少了某項能力——而不是什麼莫名其妙的東西。Abundant 把同一套視角套用到對齊上:先列舉應該發生什麼,再列舉過程中可能出什麼錯。他們近期的工作很大一部分在獎勵駭客,包括協助進行獎勵駭客的代理,以及協助對齊的代理,兩者在迴圈中做著與人類研究員相同的工作。
Lin 點名 Hugging Face 事件是現實世界中最重大的對齊失誤案例,並表示 Abundant 做過相關研究。他提到的做法是形式驗證的沙箱,以及對獎勵駭客的確定性偵測;他認為這比機率式評測更能精準抓到失敗。
「我會把他們形容為正交向量,你知道,我認為我們可以同時推進對齊與能力。」——Kevin Lin
對齊任務是已知的缺口:目前不在基準內,已排進下一版。
路線圖從元件任務走向完整的「打造 LLM」評測
現行基準涵蓋開發堆疊的子元件。下一步是端到端任務:打造一個 LLM,就這樣,不給提示、不指定方法,依模型完成得好不好來計分。Hu 另外列出對齊任務、權重空間程式設計(weight-space programming,他說這是近來的新題目)的探索性工作,以及強化版的一到五級 RSI 分類法。
這套分類法是兩人評判嚴重程度的框架。從弱 RSI——早期認為光靠 coding 能力就足以轉動迴圈——一路到強 RSI:模型訓練出另一個 coding agent,而這個 agent 本身有能力在迴圈內進行模型訓練。基準的元件任務就落在這兩極之間。
flowchart TD
A["弱 RSI:光靠 coding 就能轉動迴圈"] --> B["元件任務:預訓練、後訓練、kernel、推論"]
B --> C["端到端任務:不給提示打造一個 LLM"]
C --> D["強 RSI:模型訓練出能訓練模型的 coding agent"]
B --> E["規劃中:對齊任務、權重空間程式設計"]
創辦人主張:禁止 RSI 也會擋掉正當的模型訓練
近期要求禁止 RSI 的呼聲,只換來簡短交鋒。Hu 的回應建立在分類法上:弱 RSI 與強 RSI 之間,存在一大片有用的應用帶。他把模型訓練比作工具箱裡的一件工具——醫學上的客製病理或腫瘤模型、材料科學、合成生物學——這些領域專屬模型都需要具備為該用途訓練模型的能力。Abundant 研究的是較強的一端,也就是模型著手改進最佳化器與前沿 coding agent 堆疊的其他環節,但 Hu 說這些技術會推廣到其餘應用,因此兩者無法乾淨切分。
Lin 回到正交論:論述把能力與對齊當成方向相反、彼此抵銷的向量,他並不這麼看。他也指出,RSI 所鼓勵的資料混合、資料合成與後訓練技術,正是對齊工作所需的同一批技術;把這些能力導向正確方向,模型就成了對齊故事的一部分。
觀眾提問帶出拒答處理與根因分析
兩個觀眾提問帶出了具體的實務細節。關於備援與拒答,Lin 說團隊做過分析,沒有發現任何影響分數的拒答:確實有安全護欄標記或阻擋某些操作的情況,但代理重試後完成了任務,因此分數無須調整。他邀請稽核者檢視已公開的執行軌跡,並在 GitHub 回報問題。
關於跨類別的根因分析,Hu 說明瞭一套標準流程:用失敗模式分類法掃過從訓練資料到評測的每一個環節。他列出的類別是規劃不當、人機互動不當、缺乏領域知識、獎勵駭客(他指出這很常見),以及環境問題。Lin 說目前尚未發布任何分析,但即將出爐的報告會逐模型說明究竟哪裡出了錯。
節目在創辦人自己的判讀中收尾:RSI 仍在早期,34% 的最高分還有很大的爬升空間,下一版基準將檢驗模型能否完成整件事,而不只是其中一部分。尚未化解的張力,正是兩人反覆回到的那一點——一個衡量模型改進模型能力的基準,同時也是任何想加速模型開發者的能力地圖;而創辦人的答案(對齊是正交的能力,加上確定性的獎勵駭客偵測)是一個立場,而非已驗證的成果。值得留意下一版是否納入對齊任務與端到端評測,以及隨著任務增加,Gemini、Claude 與其他前沿模型之間的類別領先格局是否維持不變。