跳到正文
AI Engineer(youtube.com)· Ara Khan·· 12 天前品質評分58

挑選在 AI 解決程式設計後仍能存續的問題——Cline 的 Ara Khan

挑選在 AI 解決程式設計後仍能存續的問題——Cline 的 Ara Khan

重點導讀

Cline 的 Ara Khan 說明 GPT-5.6 等程式設計代理如何執行遞迴式自我改進迴圈(一次長達 17 小時的執行,把 Cline 的測試框架從 27% 往上拉昇),並呼籲工程師挑選能隨模型進步而存續的宏大問題。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Cline 這家 coding agent 公司的創始工程師 Ara Khan 主張,AI 系統已經開始接上遞迴式自我改進(recursive self-improvement)迴路的部分環節,工程師應該往這個迴路靠攏,而不是去打造那種只要模型改版一次就會被消滅的薄皮應用。整集大部分時間都花在他自己的實作示範上——一場長達 17 小時的自動化執行,由一個模型改寫 Cline 的 harness 來拉高 Terminal-Bench 分數——以及由此延伸出的職涯建議;標題所講的「能存活下來的問題」,是收尾論點,而不是整場談話的主體。

Khan 的視角來自一家專門針對公開基準調校 coding agent 的公司內部,這讓他的數字有具體出處;不過關於前沿實驗室的路線圖以及整體 RSI 時程的種種說法,是他個人的解讀,並非經查證的事實報導。讀者讀完應該能掌握:自動化 eval 改進迴路的運作機制、這個迴路實際找出的失敗類別、他引用的周邊案例(OpenAI 的 kernel 工作、他花一個晚上就最佳化好的硬體裝置),以及他用來挑選工作的框架——要能受益於模型進步,又不會被模型進步抹掉。

一場 17 小時的自動化執行,靠改寫自身程式碼拉高了 Cline 的 harness 分數

Khan 的核心示範是:coding harness 可以由 agent 來改進,不必靠人類工程師。Cline 用 Terminal-Bench 2.1 衡量 agent 品質,他說這個基準包含 89 個任務,跑在 89 個平行的沙箱容器裡,每個任務獨立評分,評分專案包括回合數、Token 用量、延遲、工具呼叫、軌跡,以及 agent 是否 reward-hack 或直接去查解答。Kimi K3 推出時,Cline 拿到 77.5%——算不錯,但低於 Khan 所說該模型發布論文宣稱可達的 85% 以上。

人工的做法是爬山法(hill climbing):把失敗分門別類、改 harness、重跑。自動化的做法則是把這個迴圈交給 agent。Khan 說他用 GPT-5.6 當「主 agent」指揮排程,由 Kimi K3 負責跑任務——主 agent 跑 eval、讀失敗案例、修改 Cline 的 harness、再重跑,整整 17 小時他都沒有介入。他回報的基準線是 27%,並列出 agent 找出並修掉的失敗類別:迴圈偵測(harness 在同一個問題上打轉)、背景程式執行過久,以及檔案索引問題。

他明確指出這個迴圈可能會失控,因為跑一次 eval 大約要一小時,agent 必須正確解讀回饋、做出真正的改進,而不是 reward-hack。他也認為,這種做法在處理廣泛問題時比即時場景更有效,因為即時場景容易過度聚焦在特定案例上。他從中得出的意義是兩層式的學習迴路:harness 採取行動、取得獎勵,再由一個 meta-agent 觀察並修改 harness。

可改進的範圍涵蓋整個技術堆疊,不只 harness

Khan 的論點是:如果模型能改進 harness,就能改進整條流程上的一切,從電力到回應。他引用 OpenAI 的說法,指 GPT-5.6 自主改寫並優化了自家生產環境的 kernel,讓端到端服務成本降低 20%、Token 生成效率提升 15%——他認為這對一家前沿實驗室來說可能代表數十億美元。他也提到,一家他稱為 Core Auto 的公司舉辦的 kernel 撰寫競賽,冠軍說自己從沒手寫過 GPU operator,那些工作全是 agent 做的。

RSI 迴路的階段Khan 舉的例子
預訓練輝達 Nemotron 在 AI 策劃預訓練資料上的工作
後訓練Constitutional AI 式的改進;在困難、可驗證的長程問題上做爬山法
推論GPT-5.6 改寫自家生產環境 kernel(服務成本降 20%、Token 效率提升 15%)
Eval 與 eval 生成Cline 自家那場 17 小時的自動化 harness 改進
實體世界會自己打出想怎麼解機器人問題的機器人;他花一個晚上最佳化好的小型相機/喇叭/麥克風裝置

硬體那段是他最具體的個人案例。Khan 說他在設定一臺小型裝置——要送給女朋友的禮物——上面有相機、喇叭和麥克風,他發現它又慢、延遲又高。他把裝置接上電腦,讓 coding agent 對它跑任務,由 agent 測量端到端延遲、診斷演算法哪裡出錯。一個晚上,靠著自行執行的實驗和一把 OpenRouter 金鑰,他說韌體、工具呼叫、推論模型和語音轉文字模型全都自動改進了。他的結論是:連硬體都能被納入 RSI 迴路之中。

「每一次人類對數位環境的修正,都是某個 delta 的一部分,而那個 delta 需要被補上。」

這句話是他對後訓練的定調:每一次人類修正都標記出模型能力的邊界,而工作就是找出那個 delta,把前沿推過去。

Khan 的 agent 發展路線圖,以及為何 2026 是自我改進之年

Khan 從一份 2021 年的實驗室路線圖講到現在。那份路線圖明確以一個通用 AI 助理為目標,要展現「軟體工程師同事的所有能力」——寫函式、找 bug、設計 API、討論風格。他特別點出,那份檔案寫於這場演講五年多之前。

timeline
    title Khan 對 agent 能力的描述
    2021 : 實驗室路線圖以 AI 軟體工程師同事為目標
    2022 : ChatGPT 發布
    2023 : 模型開始呼叫簡單函式、查天氣、做 Python 運算
    2024 : agent 能呼叫真實工具、讀寫檔案、搜尋網路
    2024 : 多 agent 對話經由 AutoGen 問世,拼湊感重且大致上是確定性的
    2025 : agent 變得更好、更快、更便宜
    2026 : agent 開始自我改進

他對 2024 年那波多 agent 熱潮很不以為然,形容 AutoGen 時代的系統是把一堆類別「用膠帶黏起來」的階層架構,大多具確定性、缺乏自由流動。他對遞迴式自我改進的定義很標準:一個系統協助打造能力更強的後繼者,如此反覆,直到 AGI,然後是奇點。他額外補充的是:這個迴路的各部分已經存在,而且快要接上了——更便宜的推論買到更多實驗預算,實驗預算帶來更好的資料和更好的模型。

職涯建議:往迴路靠攏,挑選能隨模型規模受益、又不會被模型抹掉的問題

Khan 的處方很直白:「拜託、拜託、拜託、拜託,往 RSI 迴路靠近。」他認為那一波垂直領域 AI agent——做建築的、做這個的、做那個的——見樹不見林,距離被消滅只差一次模型改版,而且智識上沒什麼挑戰,等於整天在說「嘿 Claude,幫我做這個」。他把企圖心視為決定你能造出什麼的天花板。

他建議中更難的部分,是他自己點出的矛盾:要做能受益於規模的問題,但要避開光靠規模就能解決的專案,因為下一次模型改版就會把它做完。他說,理想的情況是一項事業既能受益於模型進步,本身又是改進流程的一部分——這也是他為什麼指出資料管線和實體硬體是正在吸引資金的領域。他引用一場演講(只以「這樣一個主題」帶過)的建議:要做有企圖心、有針對性、快速的合作,並說個人的時程規劃應該被「徹底壓縮掉」。

他為這場演講設定的第三個目標是「逃離永久下層階級」——他擔心,如果所有營收都集中到少數幾家 GPU 製造商和少數幾家前沿模型公司,其他人就只能捫心自問自己存在的意義是什麼。他沒有提出任何經濟機制來解決這件事,只給了上述的職涯重新定位,最後用一個 QR code 邀請大家對他的時程判斷提出異議。

這場演講的主張與實證之間的落差

harness 的成果是第一人稱、具體的,但在節目中並未經獨立驗證,而且 27% 的基準線與 77.5% 的 Kimi K3 數字擺在一起顯得突兀,Khan 並未說明兩者如何對得上。OpenAI 的 kernel 數字、Core Auto 競賽的軼事、Nemotron 預訓練的引用,全都是他轉述的二手說法,沒有出處。硬體那段只是單一裝置的單一軼事,不是普遍性結果。前沿實驗室路線圖那一段明確是推測——Khan 把它定位成幫外部人猜測實驗室在做什麼——而「永久下層階級」的說法是被當成一個待回應的恐懼提出,而不是他為之辯護的預測。經得起檢視的主線比標題窄得多:一個可運作的示範,證明由 eval 驅動的 harness 最佳化可以自動化,以及一套據此挑選工作的判準。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論