跳到正文
MTS(youtube.com)· Madison Kanna·· 6 小時前品質評分58

前沿 AI 模型在真實 RSI 任務上僅得 34 分 | Abundant

前沿 AI 模型在真實 RSI 任務上僅得 34 分 | Abundant

重點導讀

Kevin Lin 與 Jesse Hu 的 Frontier RSI 基準測試發現,頂尖 AI 模型在開放式自我改進任務上平均僅得 34%,其中 Gemini 在核心最佳化表現最佳,Claude 則在後訓練領先。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Abundant 共同創辦人 Kevin Lin 與 Jesse Hu 主張,「真正的」遞迴自我改進(recursive self-improvement,RSI)指的是讓 LLM 改進另一個 LLM,使迴圈得以遞迴下去;而他們新推出的 Frontier RSI 基準測試,是第一個針對這個狹義定義來檢驗前沿模型的評測。該基準的最高分約 34%,兩人據此認為 RSI 仍處於早期階段,而非即將成真。整段對話大部分圍繞基準的設計取捨、四個前沿模型如何在不同的 LLM 開發任務上各擅勝場,以及兩人主張對齊(alignment)與能力(capabilities)彼此正交、並不對立;標題的 34% 只是這場討論裡的一個資料點,而近期要求禁止 RSI 的呼聲,只在接近尾聲時短暫交換了幾句意見。

Lin 與 Hu 都出身 Waymo,他們把模擬與失敗分類法的心態套用到模型評測上:先窮舉邊界案例,再以確定性方法偵測獎勵駭客(reward hack)。本集值得一聽的地方,在於具體的任務分類(預訓練、後訓練、kernel 最佳化、推論)、逐模型的結果,以及兩人朝端到端「打造一個 LLM」任務推進的路線圖。除了 34% 這個標題數字與 27 項任務中開源 8 項之外,硬資料偏少。

Frontier RSI 測的是 LLM 能否改進 LLM,而非泛泛的「AI 改進 AI」

Lin 與 Hu 會打造這個基準,是因為他們認為既有的「RSI」基準測錯了東西。那些基準問的是 AI 能否改進其他種類的 AI——其他機器學習模型、科學研究、電腦視覺問題——而這會打斷遞迴。Hu 的舉例是:如果 Claude 改進了 Waymo 的技術堆疊,Waymo 並沒有回頭改進 Claude 的路徑。真正的 RSI 必須是 Claude 改進 Claude,讓每一次改進都餵養下一次改進。

實務上的障礙是成本。依 Lin 的估計,訓練 Claude 或 GPT 這類前沿模型要花數千萬到數億美元,團隊根本負擔不起。因此 Frontier RSI 改用代理任務:前沿模型能不能訓練並改進更小的模型?Lin 坦承這並非字面意義上的真 RSI,但辯護理由是:在小模型上發現的技術,屢屢能推廣到更大的模型。

基準圍繞四大類 LLM 開發工作編排,而且每一項任務都是開放式最佳化,而非重現練習。

類別任務要求題目設計範例
預訓練改進訓練堆疊中的某個元件「改進最佳化器」,不給任何提示
後訓練訓練另一個模型以取得某項能力後訓練一個模型,讓它跑代理式 coding 迴圈(跑測試、讀錯誤、改檔案、重複)
Kernel 最佳化改進 GPU kernel開放式的速度/品質最佳化
推論改進推論端效能開放式最佳化

這樣的題目設計是刻意的。其他基準會要模型重新實作某個已知技術,例如 Muon 最佳化器或 FlashAttention,然後測試能否重現。Frontier RSI 反其道而行,只說「用任何可能的方法改進模型」,卻不給方法,理由是資深研究員從來不會拿到一篇論文照抄重現,而是被要求自己去探索空間。Lin 拿 PostTrainBench 對比,說它涵蓋的是小學程度的數學題:是玩具任務,而非前沿能力。

基準最高分約 34%,沒有任何模型全面領先

Lin 引用的頭條結果是:Frontier RSI 的最高分大約 34%,他與 Hu 都把這當成 RSI 研究「才剛起步」的證據。更有意思的發現是,領先地位是按類別分散的,而非集中在單一模型身上。

模型領先或突出的專案節目中的說法
GeminiKernel 最佳化Lin 說這個結果令他驚喜,並認為它在實證上印證了外界所稱 Google 一直專注於 RSI 的說法
Claude後訓練與推論被形容為在這兩類最強
其他前沿模型各類別排名互有高低Hu 指出各家實驗室的側重方向有明顯差異

Lin 出身 Google,他說 Gemini 的結果連他自己都意外,並表示較新的 Gemini 模型整體「相當不錯」。他把 kernel 最佳化的領先,連結到 Sundar Pichai 公開表示 Google 優先投入 RSI 的談話,把這個基準定位成對 Google 說法的獨立驗證。

兩人也把結果與 Anthropic、OpenAI 近期關於研究加速的部落格文章相互對照。Hu 覺得值得注意的是,OpenAI 回報推論端的利用率相對偏低;這讓他意外,因為他原本預期推論任務會是後訓練之後最容易攻頂的一類。

任務是開放式最佳化問題,不是論文重現

本節的核心主張是設計哲學:一個告訴模型「怎麼做」的基準,測的是指令遵循,不是研究能力。Frontier RSI 的每一項任務都是最佳化問題——速度、品質或準確度——模型只拿到目標(「改進最佳化器」、「改進注意力機制」、「改進這個 GPU kernel」),不指定方法。模型自行嘗試不同做法,再依實際成效計分。

這也連到 Lin 詳細說明的後訓練範例:Frontier RSI 不要求模型解一道代數題,而是問模型能不能後訓練另一個模型去執行代理式開發迴圈——跑測試、檢查錯誤、改一個檔案、再跑測試、改其他檔案。基準視為真實前沿能力的,是這個迴圈,而不是課本上的標準答案。

基準已上線於 frontier-rsi.org,並附 GitHub 連結。27 項任務中已有 8 項開源,代理的執行軌跡也一併公開,供外部稽核。Lin 說開源更大一批任務「絕對可行」,目前正在討論。

Abundant 把對齊視為一種能力,而非制衡力量

被問到 RSI 與對齊是否衝突時,兩位創辦人都拒絕這種框架。Lin 的說法是:對齊本身就是一種能力,能力更強的模型可以加速對齊研究。他把兩者形容為正交向量,而非方向相反的兩股力量:做能力研究不會損害對齊,做對齊研究也不會損害能力。

Hu 用 Waymo 的背景來支撐這個觀點。在 Waymo,團隊把安全當工程問題處理,用模擬涵蓋各種可能的邊界案例;失敗通常是「能力疏漏」——少了某項能力——而不是什麼莫名其妙的東西。Abundant 把同一套視角套用到對齊上:先列舉應該發生什麼,再列舉過程中可能出什麼錯。他們近期的工作很大一部分在獎勵駭客,包括協助進行獎勵駭客的代理,以及協助對齊的代理,兩者在迴圈中做著與人類研究員相同的工作。

Lin 點名 Hugging Face 事件是現實世界中最重大的對齊失誤案例,並表示 Abundant 做過相關研究。他提到的做法是形式驗證的沙箱,以及對獎勵駭客的確定性偵測;他認為這比機率式評測更能精準抓到失敗。

「我會把他們形容為正交向量,你知道,我認為我們可以同時推進對齊與能力。」——Kevin Lin

對齊任務是已知的缺口:目前不在基準內,已排進下一版。

路線圖從元件任務走向完整的「打造 LLM」評測

現行基準涵蓋開發堆疊的子元件。下一步是端到端任務:打造一個 LLM,就這樣,不給提示、不指定方法,依模型完成得好不好來計分。Hu 另外列出對齊任務、權重空間程式設計(weight-space programming,他說這是近來的新題目)的探索性工作,以及強化版的一到五級 RSI 分類法。

這套分類法是兩人評判嚴重程度的框架。從弱 RSI——早期認為光靠 coding 能力就足以轉動迴圈——一路到強 RSI:模型訓練出另一個 coding agent,而這個 agent 本身有能力在迴圈內進行模型訓練。基準的元件任務就落在這兩極之間。

flowchart TD
    A["弱 RSI:光靠 coding 就能轉動迴圈"] --> B["元件任務:預訓練、後訓練、kernel、推論"]
    B --> C["端到端任務:不給提示打造一個 LLM"]
    C --> D["強 RSI:模型訓練出能訓練模型的 coding agent"]
    B --> E["規劃中:對齊任務、權重空間程式設計"]

創辦人主張:禁止 RSI 也會擋掉正當的模型訓練

近期要求禁止 RSI 的呼聲,只換來簡短交鋒。Hu 的回應建立在分類法上:弱 RSI 與強 RSI 之間,存在一大片有用的應用帶。他把模型訓練比作工具箱裡的一件工具——醫學上的客製病理或腫瘤模型、材料科學、合成生物學——這些領域專屬模型都需要具備為該用途訓練模型的能力。Abundant 研究的是較強的一端,也就是模型著手改進最佳化器與前沿 coding agent 堆疊的其他環節,但 Hu 說這些技術會推廣到其餘應用,因此兩者無法乾淨切分。

Lin 回到正交論:論述把能力與對齊當成方向相反、彼此抵銷的向量,他並不這麼看。他也指出,RSI 所鼓勵的資料混合、資料合成與後訓練技術,正是對齊工作所需的同一批技術;把這些能力導向正確方向,模型就成了對齊故事的一部分。

觀眾提問帶出拒答處理與根因分析

兩個觀眾提問帶出了具體的實務細節。關於備援與拒答,Lin 說團隊做過分析,沒有發現任何影響分數的拒答:確實有安全護欄標記或阻擋某些操作的情況,但代理重試後完成了任務,因此分數無須調整。他邀請稽核者檢視已公開的執行軌跡,並在 GitHub 回報問題。

關於跨類別的根因分析,Hu 說明瞭一套標準流程:用失敗模式分類法掃過從訓練資料到評測的每一個環節。他列出的類別是規劃不當、人機互動不當、缺乏領域知識、獎勵駭客(他指出這很常見),以及環境問題。Lin 說目前尚未發布任何分析,但即將出爐的報告會逐模型說明究竟哪裡出了錯。

節目在創辦人自己的判讀中收尾:RSI 仍在早期,34% 的最高分還有很大的爬升空間,下一版基準將檢驗模型能否完成整件事,而不只是其中一部分。尚未化解的張力,正是兩人反覆回到的那一點——一個衡量模型改進模型能力的基準,同時也是任何想加速模型開發者的能力地圖;而創辦人的答案(對齊是正交的能力,加上確定性的獎勵駭客偵測)是一個立場,而非已驗證的成果。值得留意下一版是否納入對齊任務與端到端評測,以及隨著任務增加,Gemini、Claude 與其他前沿模型之間的類別領先格局是否維持不變。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論