跳到正文
AI Engineer(youtube.com)· Raymond Weitekamp·· 12 天前品質評分58

你的代理不必每個決策都靠 LLM——專訪 OpenProse 的 Raymond Weitekamp

你的代理不必每個決策都靠 LLM——專訪 OpenProse 的 Raymond Weitekamp

重點導讀

OpenProse 的 Raymond Weitekamp 主張,遞迴決策模型(recursive decision model)能處理代理的決策,不必每一步都動用生成式模型;他透過共享地圖與仲裁者(arbiter)把兩者與 LLM 搭配,並以 Factorio 與即時音訊示範說明。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Raymond Weitekamp 是一位 AI 工程師,正在打造一款名為 OSO 的電腦操作代理(computer-use agent)。他主張,許多被認為需要審慎推理的任務,其實可以用大量細小、快速的「系統一」決策樹來解決,而且這套架構完全不需要生成式模型也能運作。整場演講大部分時間都花在拆解這套「遞迴決策模型(recursive decision model, RDM)」的運作機制:它如何對應 MIT 的遞迴語言模型(recursive language model, RLM)、如何透過共用的「地圖(map)」介面與 LLM 協作,以及「仲裁者(arbiter)」如何為投機式的平行決策把關。標題的主張——代理不必每個決策都靠 LLM——是全場主線,但後半段轉向個人經歷:Weitekamp 在 Princeton Laptop Orchestra 時期投入即時機器學習的根源,以及他想在不碰鍵盤、不碰滑鼠的前提下操控電腦的目標。

Weitekamp 很有資格提出這套論點:他從 TypeSafe 的 Jev 決策模型推出以來就一直在其上開發,並已交付兩套實作——一個 DSPy 模組與一個獨立的 Rust 套件。讀者讀完應該能對 RDM 架構建立具體的心智模型,包括它的三條設計原則、已展示的應用案例(Doom、Factorio、階層式商品搜尋、智慧家庭、即時音訊),以及它公認的極限。

Jev 是生成式 AI 發散特性的收斂對照組

Weitekamp 用一組陰陽對照貫穿整場演講。生成式 AI 產出開放式文字,即使 Token 無上限,「你的發散程度也近乎無限」——最後還是得有人決定哪些東西要上線。Jev 這類決策模型則完全無法生成文字,只能在選項之間排序與挑選,因此本質上是收斂的。他說,正是這個對比,讓工程師對 Jev 的推出反應如此熱烈。

他對命名相當隨性。TypeSafe 借用 Daniel Kahneman《快思慢想》的「系統一」——快速、直覺、憑感覺的判斷,對比緩慢、審慎的系統二推理——而當時並不清楚 TypeSafe 是否把它當成專有的產品家族名稱。現在多數人講「決策模型」,仍有一派堅持叫「零樣本分類器(zero-shot classifier)」。Weitekamp 說他「沒有立場偏袒任何一方」,兩個詞混著用。他把「Jev 做的是判斷,不是決策——決策由你的程式碼來做」這個觀察歸功於一位他稱為 Ally 的人,並稱這個說法「完全正確」。

他反覆回到的核心問題是:如果推理其實就是許多細小決策的總和呢?如果我們以為需要審慎認知處理的任務,其實可以用大量極細小、極快速的判斷來解決呢?

遞迴決策模型把 RLM 的模式套用到分類器上

Weitekamp 的概念結合了兩件他當時很興奮的事:一是 MIT 的遞迴語言模型(RLM),出自 Alex Zhang 與 Omar 的團隊,原始部落格文章發表於演講時「大約一年多前」;二是 Jev,他當時「迫不及待」想從候補名單中拿到使用權。RLM 的類比可以直接對應——根模型往下呼叫子模型,直到最大深度,葉節點是一次呼叫。在 RDM 裡,葉節點就是一次決策呼叫。

他為這套架構訂了三條原則:

原則含義為何重要
脈絡留在模型之外由程式碼切分外部狀態,把各自的視角交給每個子決策沿用自 RLM;讓同一份遊戲狀態能分別餵給第一人稱與地圖感知兩套 harness
決策可以呼叫另一個決策遞迴樹,設有最大深度上限這是最核心的結構特徵
完全不需要生成式模型也能運作一路到底都是純決策證明架構本身正確;同時也必須能與 LLM 及代理協作

他區分兩種擺放位置。「決策即工具」——把 Jev 當成路由器、壓縮步驟,或決定某個工具呼叫是否執行的閘門——在拿到使用權後 24 小時內就出現了,他認為這很直觀。更有趣、也更不直觀的擺法,是根本身就是一個決策模型,再由它決定要不要把 LLM 或代理當成其中一個分支呼叫。

Jev 玩 Doom 的示範,是發表時最被低估的範例

Weitekamp 說,Doom 示範是發表時開發得最不充分的範例之一,儘管可能已有數百萬、甚至上千萬人看過。它組合了兩套不同但彼此耦合的決策 harness:一套處理當下的第一人稱動作(按住、繼續前進、走動、閃避),另一套從地圖感知視角決定下一步往哪裡探索。兩者合起來能打通一個關卡——用示範裡的話說,是「AI 原語的組合」。

他的重點是:這種「組合兩套耦合決策代理」的模式,他幾乎沒看到有人在其上繼續開發。靠著基本上兩套 harness 加上純粹的 Jev 呼叫,就能得到一個會玩 Doom 的代理,他覺得這「真的很狂」,而且被嚴重低估。

一路到底都是決策,足以應付遊戲、瀏覽器與電腦操作

Weitekamp 展示了跨多個領域的純決策系統,全都沒有生成式模型:

  • 由釘子自己做決策的高爾頓板(Galton board)。 球在每根釘子上被問「往上還是往下」,像二分搜尋一樣被分類。由於決策模型能一次回答許多問題,這塊板子可以同時在多個維度上排序——一個軸按顏色、另一個軸按數字——在這個玩具案例中做出完美的分類器。他坦承,其實一次分類器呼叫就能做到同樣的事;這個視覺化是為了鋪陳後面的例子。
  • 階層式商品搜尋。 TypeSafe 發表時的 cookbook 用了一個含 12,000 個商品類別的 Shopify 資料庫,透過對 Jev 呼叫做 beam search,把使用者查詢對應到某個類別。RDM 的巧思在於:「你可以做 beam search 而不需要 beam」——在每一層只問下一個該探索哪個子類別,而不是把 12,000 個類別全塞進脈絡。由程式碼決定要取機率最高的那一個(貪婪)還是前三名。
  • 視覺搜尋。 Jev 在推出約一個月後支援多模態,Lily 隨後發表了一個版本:先放大命中區域,再在更小的框內重新提問(她的例子是找甲蟲);TypeSafe 的 Nathan 接著做出把影像遞迴對半切、黃金螺旋式的版本。Weitekamp 指出,一個好的視覺模型大概一次就能回答。
  • Factorio。 他展示一個遞迴決策模型玩 Factorio——辨識哪條產線出問題、該換哪個機械臂,然後跑過去修。沒有 LLM、沒有任何生成式成分;他指出,因為他還沒加入尋路功能,代理在兩次維修之間會繞遠路。他拿來和「Claude 玩寶可夢」相比,並說自己原本會以為這非得靠推理模型不可。

限制在於:必須有東西先把允許的決策列舉出來——可能是一段指令碼、另一個代理,或應用程式本身。對遊戲、瀏覽器,以及很大一部分的電腦操作而言,他認為這樣或許就夠了:所有可能的動作與狀態都能用程式列舉,並以遞迴方式處理。他自己的簡報網站上有三個可互動的 DOM 元素;在一個配備快捷鍵的典型畫面上,數量雖多但終究有限。

共用的「地圖」介面,讓決策與 LLM 能互相對話

純決策有個弱點:樹的路徑基本上是預先定義好的。Weitekamp 的解法是與生成式模型組合,而機制就是他稱為地圖(map)的東西——一個由指標構成的共用基底。每個條目有名稱(「開電視」)、簡短描述,底下掛一個函式,從翻轉一個布林值到較複雜的迴圈都有。決策模型從地圖中挑選,但不負責執行;由程式碼落實動作。LLM 則可以新增與編輯地圖,學習使用者的新行為——「電影時間」就變成開電視加上調暗燈光。

他指出,地圖可以是多維的,實際上就等於在表示嵌入(embedding),並引用 Every 的 Kieran Clawson 提出用 Jev 產生低維但語意極豐富的嵌入的想法。他改編了 TypeSafe 的智慧家庭示範,加入更多房間與家電,展示高階指令(「我們要去睡了」、「來看部片吧」)如何拆解成快速的小步驟,並展示該示範的呼叫樹——其有機、自然湧現的形狀,與純決策搜尋那種對稱的樹形成對比。

仲裁者為投機式的平行決策把關

因為決策模型又快又便宜——手機或十年前的老筆電就能跑——所以可以大量平行、投機地執行。問題在於碰撞:兩個模型做同一類決策,其中一個稍快一點,就可能讓狀態來回翻轉。Weitekamp 的仲裁者(arbiter)就是一道閘門,根據各通道的信心值,決定哪個動作有權改變狀態。他類比 CPU 的並行機制——多個讀取者,但寫入要上鎖——並表示 Alex Zhang 在代理的投機式程式化工具呼叫上的研究對他影響很大。他的音訊例子是:當他話還沒說完,多個通道就在對某個動作投票,由仲裁者判斷信心何時高到可以執行。

即時、臨場的機器學習,是讓身體與裝置脫鉤的路徑

演講的收尾轉向個人。Weitekamp 談到運算帶來的身體代價——「科技頸」、用滑鼠造成的肩頸緊繃、研究所時期累積的重複性勞損——以及一整個抽屜的垂直滑鼠、軌跡球與人體工學鍵盤。他放了一段漫畫,描繪 AI 工程師的演化:從駝背打筆電、到 vibe coding、到一顆球體、再到純粹的心念,並把自己的工作定位在較接近音訊的那一端。

接著他播放了大約 17、18 年前的影片,來自 Princeton Laptop Orchestra,該樂團「今年春天」(即 2026 年春天)剛慶祝成立 20 週年。內建加速度計的筆電(旋轉磁碟時代的產物)靠著分類四個位置的敲擊,變成了鼓組;傾斜控制效果;一次敲擊驅動 side-chain ducking 壓縮器。他在那裡學會寫程式、也學會做機器學習,用的是 Rebecca Fiebrink 的 Wekinator 來做即時的 k-最近鄰與單層模型——「這些東西看起來遠比 transformer 更像主成分分析」。

這條脈絡延續到 earshot,也就是 OSO 的前身。其中一層負責轉錄音訊,並依轉錄出的字詞挑選動作,切換他的第 1 到第 8 個工作區。第二層是一個以 ChucK 為基礎的迷你模型——他提到 Wekinator 的後繼者「Chai」——在 40 至 100 毫秒的粗略頻率 bin 特徵切片上運作。它一開始由一個教師模型監督,再由第二層決定何時該信任小模型到足以跟隨它的程度。在一段 Philip Glass 的作品(《沙灘上的愛因斯坦》,Knee Play 1)上,字詞與動作之間的延遲從一開始很大,到最後縮小到約 45 毫秒,而早期出現的數字(1、2、3、4)因為出現頻率高,學得更快。他也特別提到 Matt Mastrai 的「Hunch」,它在 WebGPU 上跑 Gemma 2 嵌入,用塗鴉玩比手畫腳,延遲約 150 毫秒。

OSO 押注:語音優先、決策優先的電腦操作能取代鍵盤

OSO——全名「operating system 1」,網址 oso.computer——還沒準備好;Weitekamp 正在收集候補名單。它是一款建立在遞迴決策模型上的電腦操作代理:決策優先,能把工作外包給 Claude Code、Codex 這類一般的編碼代理,快到不必碰鍵盤或滑鼠就能運作,會遞迴地學習使用者偏好,並運用仲裁者逐步把決策交給最小、最可信的模型。語音是第一種輸入方式。他把它定位為一場「激進的人機介面」實驗,並主張產業之所以遷移到終端機,並不是因為終端機好用——而是對預設的圖形、觸控、滑鼠與鍵盤介面之侷限的反動。

他的實作包括一個 DSPy 模組(他感謝 DSPy 團隊,特別是 Compound AI 的人,迅速加入系統一 API 的支援),以及一個名為 RDM 的獨立 Rust 套件,用於快速、可攜的部署。

值得關注的重點

尚未化解的張力,在於純決策系統的優雅,與它對「必須有人預先列舉決策空間」的依賴之間——Weitekamp 承認這個限制,但隨後大致把它擺到一邊,主張遊戲、瀏覽器與電腦操作的可列舉程度已經足夠。地圖與仲裁者是讓組合與平行化得以成立的關鍵發明,而兩者都還在早期。有兩件事值得追蹤:一是有沒有人會在他所說、自推出以來幾乎無人探索的 Doom 式耦合決策 harness 組合上繼續開發;二是 OSO 的主張——語音優先、決策優先的代理能取代日常知識工作中的鍵盤與滑鼠——在真正出貨、接觸真實使用者之後是否站得住腳。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論