AI Deep Dive on Super Intelligence, Reinforcement Learning, and Bionic Limbs

Patrick Pilarski 是亞伯達大學醫學教授，也是《亞伯達計畫》（Alberta Plan）的共同作者。他主張，目前主流 AI 的配方——先預訓練一次、部署、偶爾更新——從根本就是錯的基礎；智慧應該改由能從自身經驗流中持續學習的代理（agent）來建構。整段訪談大多圍繞這個對比：它與大型語言模型、強化學習事後訓練（post-training）的差異，如何套用到邊緣運算，以及對 AI 安全意味著什麼。他實驗室在義肢上的成果——讓義肢學會預測使用者的意圖——是具體案例；標題裡的「仿生手臂」只是承載論點的載體，並非論點核心。

Pilarski 與 Rich Sutton、Michael Bowling 共同撰寫《亞伯達計畫》。這集節目之所以有價值，在於他既是持續學習的理論家，也是實務工作者——職涯大半時間都在把機器學習放進資源有限的硬體上：移動式機器人、手持式食品安全檢測儀、機器義肢。他也揭露自己將加入 Experience Flow 擔任邊緣超智慧（edge superintelligence）主管，這也說明瞭他對去中心化與裝置端學習的立場。讀者讀完應該能清楚掌握：亞伯達計畫學派與 LLM 實驗室的分歧在哪、Pilarski 為何認為資料中心的大興土木不會把 AI 鎖死在單一路徑，以及強化學習的框架如何對應到當前對代理安全的擔憂。

亞伯達計畫的核心賭注是時間均勻性——沒有獨立的訓練與部署階段

Pilarski 把亞伯達計畫定位為對標準流程的刻意反命題。標準流程是先訓練模型、部署、之後再微調；亞伯達計畫則承諾打造一個「永遠在學習、永遠在訓練、永遠在測試」的系統，學習期與行動期之間沒有特別區分。他稱之為*時間均勻性*（temporal uniformity），並與另外三項承諾並列：系統所知的一切都從自身經驗流建構而來；運算資源要以最高效率使用（「每一分可用的運算，全部的 computronium」）；代理所處的世界裡還有其他智慧體，彼此可以提升對方的能力。

這套計畫分成 12 個步驟——表徵、預測、控制、規劃，最後是智慧放大——但 Pilarski 強調，它從來就不是設計成按順序打勾的清單。原始設計意圖是：任何一步出現更好的方法，都能立刻接進後面的步驟，即使接得不完美也無妨。他表示，自 2022 年發表至今約四年，整體骨幹仍站得住腳；他低估的是個別步驟要花多久——Sutton 在第一步花的時間遠超預期，之後才在他的 OaK 架構，以及計畫後段的 STOMP 架構上取得進展。

「我們在亞伯達計畫裡試著切出一條替代路線，主張：不對，系統是永遠在學習、永遠在訓練、永遠在測試。」

事後訓練的強化學習是調整既有模型；亞伯達計畫要讓模型由經驗建構出來

Pilarski 把強化學習的兩種用途劃得很清楚。在 LLM 實驗室裡，強化學習是套用在一個大型預訓練模型上，把某項能力磨得更利——他舉 DeepSeek 的 R1 式推理訓練為例，說明那是在既有系統上外掛試錯式改良。在亞伯達計畫裡，強化學習就是整個建構過程：系統的表徵、預測與策略全都透過互動從零建起，他把這稱為建構主義（constructivist）觀點，可追溯至皮亞傑（Piaget）的兒童發展研究。

他謹慎地不把實驗室的做法貶為草率。他的區分是架構層次，而非品質高低：一條路是把強化學習加上去以增強功能，另一條路則把強化學習當成「你所指稱的整個系統，實際上都是被建構出來的」那個機制。

| 面向 | LLM 實驗室做法 | 亞伯達計畫做法 |
|---|---|---|
| 起點 | 大型預訓練模型 | 白紙一張，或暖啟動的架構 |
| 強化學習的角色 | 事後訓練，磨利某項能力 | 建構整個系統的唯一機制 |
| 學習排程 | 訓練、部署、更新 | 持續、時間均勻 |
| 運算佈局 | 集中式資料中心 | 效率優先，逐步往邊緣移動 |
| 知識來源 | 預訓練語料加上微調 | 代理自身的經驗流 |

至於實驗室用來合理化算力擴張的「苦澀教訓」（bitter lesson）論點，Pilarski 沒有正面讓步，而是重新框定：如果獎勵函式真的量測到正在解決的問題，那麼獎勵上升、上升速率、以及變異程度都是不錯的進度訊號——難處在於團隊往往對問題理解不夠深，最後變成「花很多力氣做漂亮的獎勵設計」。

暖啟動與「運算身體」回應長頸鹿的反駁

有人問：系統是否該像長頸鹿一樣一出生就會走，而不是像人類嬰兒那樣亂踢亂揮？Pilarski 說該，並主張建構主義的框架常被誤解成緩慢又重複。多數白紙一張的強化學習方法本來就接受暖啟動資料，不需修改；一個格子世界的代理可以直接被告知哪些格子好、哪些壞，然後就「開始跑了」。

他更有意思的論點是關於*機械*或*物理*智慧：一個系統的架構——它的表現型（phenotype）——在任何學習發生之前，就已經編碼了決策能力。他稱之為「表徵雕塑」（representational sculpting），並視為一種有別於直接交付訓練權重的暖啟動。系統被賦予「一個運算身體」，讓它能遠比純白紙更快達成目標。

資料中心大建設不會把 AI 鎖進單一路徑

Pilarski 不接受「數兆美元的資料中心投資會造成路徑依賴」這種說法。他的證據是歷史：GPU 原本是為繪圖與電玩打造，後來被改造來做 AI 訓練；軟體堆疊——編譯器、最佳化器——也保有相當大的調適彈性。他預期同樣的改造會再發生一次。

他也提出去中心化的策略理由，層次高於工程本身。企業與主權國家客戶不能假設跨國之間、甚至同一國家不同區域之間的連線都可靠，因此地端運算有其必要。這正是 Experience Flow 鎖定的市場，而 Pilarski 自己的職涯也一直在這個場景裡：2000 年代初期在 Motorola 等級的行動機器人晶片上跑神經網路、在生產現場使用的手持式癌症檢測與食品安全裝置、以及穿戴式仿生裝置。他舉車子開到橋下就斷線為例，也提到 Waymo 車輛在舊金山失去連線時停下來按喇叭，用來說明邊緣自主為何重要。

「我不認為我們會被自己正在打造的晶片鎖死。就算我們決定『嘿，來做第 18 代 TPU 晶片吧』——我相當確定我們能想出這些晶片的其他有趣用途。」

世界模型因視角而異：客觀的 3D 地圖，對比主觀的預測陣列

談到 AMD 即將以 80 億美元收購李飛飛的世界模型公司，Pilarski 認為「世界模型」的兩種意義並不互斥。一個從真實、想像或記憶中的經驗建構理解的系統，與模擬的 3D 環境可以相容。他做的區分是：客觀視角——外部觀察者對一個大家都會同意的空間所做的模型——對比代理透過自身感測器向外看的主觀視角。

他舉椅子為例。被要求描述一張椅子時，他講的是高度、寬度、顏色、幾條腿。Sutton 則把它改寫成一連串預測問題：如果我現在把手往下移，下一秒會碰到東西嗎？如果我移動膝蓋，我能站起來嗎？兩者都在描述椅子，但後者是用感官—運動詞彙、綁在代理的經驗流上。Pilarski 用生物學替主觀視角找根據：小腦是「一臺巨大的預測機器」，裡頭有數量龐大的預測單元持續更新，掌管我們在世界中的行動方式。

強化學習的正式詞彙對應得上當前對代理安全的擔憂

AMII 信任與安全團隊與加拿大 AI 安全研究所（Canadian AI Safety Institute）合作的一篇論文，由 Reggie 掛第一作者，主張 LLM 時代的許多安全顧慮，其實是強化學習早已形式化的問題。Pilarski 的概括是：當聊天機器人變成有目標、有感知、有行動、且後果會隨時間延伸的代理，這個領域既有的詞彙就派得上用場。

他點出具體的對應：安全探索（safe exploration，Sutton 與 Barto 教科書裡的懸崖漫步例子——代理在安全但漫長的路線，與冒險但短、摔下去有大額負獎勵的路線之間取捨）、獎勵錯置（reward misspecification，我們有沒有把目標正確地告訴替我們辦事的系統）、以及狀態近似（state approximation，系統如何感知世界）。他坦承這種對應並非一對一，當前代理式系統也缺乏正式強化學習的理論嚴謹度與數學護欄，但他主張經驗的移轉仍有價值。訪談者提出的具體擔憂——代理駭進訂位系統以確保訂到桌位——正是 Pilarski 所描述的獎勵錯置案例。

能預測意圖的義肢，證明持續學習在邊緣端可行

Pilarski 實驗室的核心成果是*自適應切換*（adaptive switching）。肘上截肢者必須用有限的可量測訊號，在肘、腕、手等模式之間迴圈切換，就像在電腦上切換應用程式。他的實驗室打造了一套系統，能從一組關於情境的基本預測（有一個杯子；手即將張開）學習預測使用者想要哪個功能、以及何時要。

安全設計與學習本身同樣重要。系統從臨床黃金標準起步，改善所需的時間他形容為「幾分鐘」而非漫長的訓練；一旦失效，就退回黃金標準，使用者仍保有完整控制權——這是時間均勻性加上護欄的具體例項。它不需要外部攝影機；只要手臂在空間中位置的衰減軌跡，就足以帶來效益，這正是邊緣運算限制的縮影。

硬體方面，Pilarski 提到加拿大首例上肢骨骼錨定手術，由外科醫師 Jacqueline Hebert 於節目播出當年的 1 月在亞伯達完成。植入骨骼的鈦合金接管讓機械義肢可以扣上，「有點像把腳踏車坐墊裝到腳踏車上」，改善貼合度與舒適度，也讓使用者不必靠吊帶就能把手舉過頭。他主張主要障礙在於耦合與使用者訓練，而非手部靈巧度——被棄用的義肢對誰都沒幫助。

多餘肢體早已以工業形式存在；近期的身體增強在服裝

Pilarski 證實他的實驗室早在 2011 年就打造過多餘肢體，包括裝在胸前的第三隻手臂——部分動機來自他個人的願望：身為前龐克樂團吉他手，他想同時拿麥克風又彈吉他。他指出這個概念在工業場景早已商業化：掛在髖部的外骨骼搭載兩隻重型手臂，把鈑金的重量直接導向地面，讓工人空出雙手拿工具。

他對近期的預測不是尾巴或翅膀，而是服裝。他引用 Kyu Jin Cho 的觀點：智慧紡織品與外骨骼套裝終將單純變成「衣服」，主動元件直接織進日常衣物。他也提到實驗室較為投機的成品——一支長度可伸縮成兩倍的前臂義肢，以及一個由肌肉訊號操控四軸飛行器的專題——作為非生理性增強的範例，讓人做到未經改造的人類做不到的事。

資源不足的關鍵，是人體增強裡的那個「T」：訓練

被問到新資金該投向何處，Pilarski 回到 Douglas Engelbart 的 H-LAM-T 模型——人（human）、語言（language）、人造物（artifacts）、方法論（methodology）、訓練（training）——並特別指出訓練。他希望有更多研究探討：人們如何被教會使用能學習的系統、這樣的訓練如何改變人與機器之間的共同調適、以及這段關係的行為軌跡長什麼樣子。他的實驗室已大量投入訓練機器學習義肢的使用者；他主張，隨著系統能力越來越強，AI 素養與訓練研究的報酬會很可觀。

綜合來看：兩個 AI 範式正匯流到同一個未解決問題

這集節目最有用的跨領域洞見是：LLM 實驗室與亞伯達計畫學派爭的是機制，卻匯流到同一個瓶頸——把目標定義得夠好，好讓追求目標的系統不會造成傷害。事後訓練的強化學習與建構主義的強化學習，歸根究柢都化約為獎勵的定義；而 Pilarski 的安全論證與他的義肢設計，也都歸結到同一個動作：從已知良好的基準起步、逐步學習、失效時退回基準。尚未化解的張力在於速度。Pilarski 坦承自己低估了亞伯達計畫每一步要花的時間，而實驗室的規模化路線產生能力的速度比建構主義路線快。他的回答——運算效率與邊緣部署會讓建構主義路線迎頭趕上——是預測，不是已證實的結果。兩個值得追蹤的發展：Experience Flow 的企業邊緣部署能否在實驗室外產生持續學習的證據；以及強化學習對應到代理安全的框架，能否產出可強制執行的護欄，而不只是詞彙。