Jev 執行長:選對任務,勝過苦澀教訓
Jev 執行長:選對任務,勝過苦澀教訓
TypeSafe AI 的 Diogo Almeida 認為,AI 雖然具變革性卻令人失望,因為 RLHF 最佳化的是「人類在迴圈中協助」而非自動化;真正的瓶頸是可靠的智慧,而非原始能力。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Diogo Almeida 是 RLHF 與 InstructGPT 的共同創造者,目前投入 Jev 模型的開發。他主張,當今的 AI 是為「輔助」而非「自動化」而最佳化,這正是它在各項基準測試上看起來像超人、卻無法被信任去執行真實工作的原因。這場演講大部分時間都花在這個診斷上,花在他把 RLHF 視為根本原因的批判上,也花在推銷「軟體研究」(software research)上——把可靠、機器原生的智慧當成軟體中的新基礎元件。標題裡的「Jev」框架確實存在,但只是次要;真正的重點是一場關於任務選擇、可靠性,以及軟體該變成什麼樣貌的領域級論述。
Almeida 是以「圈內人轉為批判者」的身分發言:他說自己曾參與打造 ChatGPT 的對齊(alignment)技術堆疊,如今則認為 RLHF「本身就是問題的一部分」。讀者讀完應該帶走三個重點:他的核心區分(輔助 vs. 自動化)、他關於「選對任務」的「最苦澀教訓」,以及一份具體清單,列出他認為整個領域因為這些方向與 KV cache 相衝而正在忽略的發展方向。
AI 是為輔助而最佳化,不是為自動化
Almeida 的核心主張是:這個領域存在一種它自己該感到慚愧的認知失調——模型能輕鬆解掉千禧年大獎等級的數學難題,卻不能被信任去碰會計。他的解釋是,AI 擅長的一切「本質上都是需要人類介入的任務」。Deep research 寫得比他本人還好,但他說,如果重點是答案必須正確、而不是文筆漂亮,你每次都會選他。
他劃出的區分,是「取悅人類」與「完成任務」之間的差別。自動化要求模型「退到抽象層之後」——做出決策,然後交回給程式碼,他把程式碼稱為「自動化的語言」。由於模型被調校成要滿足人類讀者,它們在那些「本來就不該有人類介入」的任務上反而失敗。他提到每年都會重演的尷尬場面:AI 始終無法自動化得來速。
「今天 100% 的語言模型都是為輔助而最佳化。」
他直接承認箇中的諷刺:RLHF 正是為什麼今天每個模型都需要人類介入,「因為那是我們親手放進去的。RLHF 裡的 HF 就是這個意思。」他承認 RLVR(可驗證獎勵)模型確實存在,但說這些模型若未經 RLHF,「互動起來非常糟」。他的賭注是:自動化的價值高於輔助,而整個領域在這方面才「剛開始摸到表面」。
最苦澀的教訓:做對的任務勝過規模
Almeida 層層疊出三個教訓。Sutton 的「苦澀教訓」說的是算力與規模化勝過演算法。他主張還有一個更苦澀的教訓:資料永遠比算力更重要。而在他看來最苦澀的教訓是:「做對的任務」才會帶來巨大進展——重大突破「百分之百」都來自這一點。
他回顧歷史來佐證。在古典強化學習中,任務由規則定義,所以你根本不必多想。到了預訓練階段,這個領域必須發現「預測下一個 Token」才是正確的目標——不是因為這個目標本身有什麼特別,而是因為它能生成好的字串。他的主張是:再多的遮罩式語言模型(masked language modeling),即使配上今天的算力和演算法,也生不出像 GPT-3 這麼有意思的東西,「因為它做的只是另一個任務」。
他引用原始 RLHF 論文的結果,作為「任務選擇的影響力遠勝規模」的證據:用最笨的演算法、配上 GPT-2 規模的模型,他們做出了大約「GPT-9 等級」的表現——他特別強調,當年 GPT 的編號是有意義的,大致相當於有效預訓練算力放大 100 倍。他說,若只靠預訓練就想在指令遵循上追平 GPT-2,大概得用到 GPT-7 到 GPT-9 等級的模型。
| 教訓 | 主張 | 他提出的證據 |
|---|---|---|
| 苦澀教訓(Sutton) | 算力/規模化勝過演算法 | 標準說法,大致轉述 |
| 更苦澀的教訓 | 資料永遠比算力更重要 | 網際網路是瓶頸;RLHF 的資料在被創造出來之前並不存在 |
| 最苦澀的教訓 | 做對的任務才能帶來最大進展 | 預測下一個 Token vs. 遮罩式語言模型;RLHF 讓 GPT-2 跳到「GPT-9」 |
缺的是可靠性,不是巔峰能力
Almeida 說,人們喜歡 Jev 的地方在於「可靠的智慧」,而這一點不會出現在基準測試上。他的說法是:「你有 95% 的時間得到愛因斯坦,但有 5% 的時間得到豆豆先生。如果你分不出哪個是哪個,那你到底要怎麼自動化任何東西?」
他的處方是:針對極端、狹窄的可靠性去最佳化,讓智慧每次都在,而不是偶爾聰明、再靠人類去驗證。他說開發者的反應讓團隊很意外——他們根本沒為「開發者版的 ChatGPT 時刻」做準備——並把這歸因於整個領域「過度承諾、交付不足」的慣性,使得一個「說到做到」的模型反而顯得新奇。他明確表示關鍵不在速度、成本或介面,並提到團隊曾建議他不要公開這件事,好保住競爭優勢。
他也抨擊基準測試其實有害:「它們真正傷害的,是那些除了基準測試之外沒時間看別的東西的人。」
軟體幾乎沒變,而第四種「邏輯閘」可能改變它
Almeida 覺得很奇怪:儘管 AI 能力這麼強,過去十年軟體本質上沒什麼改變,「除了寫起來更便宜」。在他看來,業界端出的最好的東西,就是旁邊一個聊天機器人,它偶爾會碰一下軟體,卻做不了代價高昂的決策。他說這個領域太聚焦在 coding agent,卻不夠重視把智慧放進內層迴圈。
他的類比是藍光 LED。紅光與綠光 LED 催生了指示燈和時鐘;藍光則催生了白光照明與今天在用的各種顯示器——遠超過你天真以為的「顏色選項多 33%」,因為它是一個能與舊元件組合的新基礎元件。他指出,軟體一直是由三種基本邏輯閘構成:大於、小於、等於。在他看來,機器原生的智慧,概念上就是第四種語意邏輯閘:用常識與意圖來寫程式。
他舉正規表示式(regex)為具體例子——與其寫一堆複雜樣式,你不如直接要求「一個 Gmail 信箱地址,或看起來像真的的地址」。他把由此展開的探索稱為「軟體研究」(他說這不是開玩笑),並把目標定為「真正的軟體工程,而不只是 vibe coding」:拆解、分階段且可驗證的步驟、真正的封裝,以及真正的狀態管理,「而不是假設所有東西都是 KV cache 裡的全域性狀態」。
KV cache 正在限制 agent 的設計
Almeida 主張,agent 之所以缺乏彈性,「是因為 KV cache 的暴政」——許多設計被嘗試過又失敗,因為它們到頭來對上 KV cache 就是沒效率。他列舉了一些他認為可解的問題:
- 為什麼記憶體是 O(N)?為什麼不能把 coding agent 的完整歷史塞進每一次呼叫,再用 map-reduce 對記憶體做歸納來決定要保留什麼——這正是持續學習該有的運作方式?
- 為什麼不能讓大量並行 agent 共享狀態,而要反覆重新摸索同一套程式碼庫的模式?
- 為什麼非樸素地路由到子 agent 行不通,連樸素路由都失敗?他指出,幾家大實驗室對於子 agent 到底有沒有用,立場一變再變。
他的看法是:這些設計在工程上很優雅,卻敗給 KV cache;若能繞著 KV cache 來設計 agent,將能釋放更多可能性。
把精神編碼進去:委託代理問題與即時安全
Almeida 把委託代理問題(principal-agent problem)——他舉的例子是公民 vs. 民選官員——描述成一種無所不在的錯位,會製造浪費與舞弊。因為社會無法把意圖編碼進去,只好過度強調字面而犧牲精神,於是產生漏洞與「付費即贏」的動態。他主張,能編碼「精神」的 AI 可以徹底改造組織。
他的安全例子是:一起涉及 OpenAI/Hugging Face 沙箱、卻未能被阻止的事件。他主張,偵測壞行為比執行壞行為容易——失敗的地方在於偵測不夠「快、便宜、可靠到能真正即時執行」。他想像每家公司都執行自己的智慧即時安全系統。
他點出的其他方向還包括:語意相依型別(semantic dependent typing,宣告區域性質,讓你不必追一整條相依鏈,並在 lint 檢查器裡跑一個 Jev 這類模型來維持語意性質)、新的語音介面,以及「照我意思做」(do what I mean)的 agent 軟體。
垃圾內容是成本外部化的問題,解方在可靠性
Almeida 把垃圾內容(slop)追溯到不可靠:因為 AI 不能被信任去做會讓你付出代價的決策,它就被用在成本由別人承擔的地方。如果讀者會過濾、在乎品質,它就不會再是垃圾內容——但那些不在乎的惡意行為者有不對稱的優勢。他把擋下外來的垃圾內容定為值得追求的目標。
他也大力推崇「詛咒軟體」(cursed software)——引用 bad UI battles 的 subreddit,以及一款「刪除帳號會變成隨機結果」的遊戲——他的理論是:因為做得到就去做,正是軟體工程的精神所在,而或許有 1% 的玩心點子會通往有價值的地方。他最後向那些用位元思考的工程師下戰帖:軟體能做到什麼的限制,可能六個月或一年後就不再成立,到那時問題就不再是「某件事能不能自動化」,而是「要花多少工夫」。
這場演講未解的張力在於:Almeida 自己的公信力建立在 RLHF 上,而這正是他現在怪罪的技術;他的替代方案與其說是示範,不如說是斷言——可靠性這項主張被明確地排除在基準測試之外,等於沒有公開證據。值得持續關注的是:「可靠的智慧」究竟能不能被衡量;以及他列出的那些受 KV cache 束縛的 agent 設計,能否吸引到他說自己已募到、卻缺乏營運量能去部署的資金。