前沿 AI 與節奏之爭 | Zvi Mowshowitz

Zvi Mowshowitz 認為，Goodfire 的「乾淨神經網路」研究成果確有其事，但被嚴重過度吹捧；而 Anthropic 外流的《Frontier Act》遊說草案，則是一份內容薄弱、以搶先聯邦立法架空州法為主軸、且在最糟糕時機推出的法案。本集大部分時間聚焦於可解釋性（interpretability）與「乾淨神經元」主張的極限，接著轉向 AI 政策與遞迴式自我改進（recursive self-improvement, RSI）的時程預測，最後以 PHP 漏洞危機作結，談它對銀行與高度依賴 IT 的機構意味著什麼。

Mowshowitz 是獨立 AI 政策刊物《Don't Worry About the Ways》的作者，也是 Balsa Research 的創辦人，這次與主持人 Nathan Labenz、Erik Torenberg 久違地暢談一輪。讀者讀完應該能清楚掌握：乾淨神經元論文究竟證明瞭什麼、又沒證明什麼；為何「免反向傳播訓練」的結果是支援這套理論最有力的證據；為何 Anthropic 的政策姿態引來安全倡議者的猛烈批評；以及主持人與來賓如何看待未來 12 至 24 個月的模型能力進展與資安風險。

乾淨神經元論文是真進展，但外界反應遠超其份量

Mowshowitz 對 Nick Camarada 那篇 Goodfire 文章的評價是：這確實是可解釋性領域一項有用的進展，卻被評論者大幅過度吹捧。他讀了完整論文，也在會議上與人交流，包括 Eliezer Yudkowsky；他的結論是，論文本身大約只是「照慣例稍微誇大」了自己的成果，但圍繞它的討論遠遠超出這個程度。他的總結是：這讓整個領域的處境變好、值得深入探索，但並不是外界反應所暗示的典範轉移。

依主持人的描述，論文的核心主張是：早期可解釋性研究在神經網路中看到的「一團亂」，可能更接近技術不夠成熟的問題，而非本質屬性。模型更大、訓練方法更好、可解釋性工具與代理（agent）更強之後，核心機制看起來比預期容易讀懂得多。Mowshowitz 接受「問題的預期難度已經下降」這個說法，但他把它定位成：把一個可能仍然天文數字般龐大的數字砍掉一個數量級——不是解決問題。

他列出論文沒有解釋的部分：

• 弱啟用（weak activations） 仍未獲解釋，而長尾事實可能正是儲存在這裡。
• KV 快取（KV cache） 仍未獲解釋。
• 注意力機制（attention） 及其實際運作方式，大致上仍未獲解釋。
• 無法預測：你可以替神經元貼標籤，卻無法據此預測網路會說什麼，或它如何做到它做的事。

最具殺傷力的具體檢驗來自一位化名「sour」的研究者：他拿論文的招牌案例——單一神經元只做一件事的「科羅拉多神經元」——去測試，發現它對龍捲風系統（一個毫不相關的技術概念）也有差不多強的反應。Mowshowitz 說，這對神經網路而言是完全合理的運作方式，但這並不是論文所呈現的樣貌；而論文精挑細選的招牌神經元連一個簡單檢驗都過不了，這點應該讓人對其餘結果心生警惕。

「這真的很酷。它讓我們處於更有利的位置。我們很高興有這項成果，也會大量探索它……但與此同時，它被評論者嚴重過度吹捧了。」

乾淨網路為何重要：樂觀的解讀是，如果每個神經元基本上只代表一件事，你就能逐一貼標籤，用已知神經元去協助解開未知神經元，最終描繪出網路的思考方式。Mowshowitz 把它比作拼圖——先拼出邊角和邊緣，其餘部分就變得可處理，儘管理論上沒有這些拼片也拼得完。一個神經元對應兩個功能不算致命；五個或五十個才是問題。他認為，長久以來的真正障礙是「苦澀的教訓」（bitter lesson）：算力不足以逐一暴力破解神經元。如今算力到位，問題結果比原本假設的容易大約十倍——有意義，但還稱不上新時代的來臨。

Labenz 為這波炒作提出部分辯護：OpenAI 圈內人士的反應，可能反映歷經一個艱難夏天後對好訊息的渴求；而 Camarada 在可解釋性領域資歷深厚，包括早年在 OpenAI 做過一個沒成功的自動可解釋性專案。

免反向傳播訓練，是這套理論站得住腳的最強證據

在 Labenz 看來，最有說服力的驗證來自那篇文章發布後幾天內竄紅的免反向傳播（backprop-free）訓練研究。其邏輯是：如果只有強啟用才重要，那麼在免反向傳播訓練中，就能把「猜了再驗」的搜尋範圍縮小到強啟用的神經元，忽略其餘部分。這會大幅減少猜測次數，而社群回報這招有效——更新後的權重與反向傳播會產生的結果非常接近。

Labenz 解釋免反向傳播訓練為何重要：迄今幾乎所有機器學習架構都受制於「必須可微分」才能套用鏈鎖律。架構中間若有不可微分的黑箱，就一直沒有好的訓練方法。移除這項限制，等於開啟更大的可能架構空間，但「猜了再驗」的做法歷來太慢，根本無法競爭。

Mowshowitz 說自己技術底子不足以評估這些發現，但他提出一個直覺上的反對意見，提醒別過度依賴強啟用。他的類比是：跳過「惱人的細節」以求更快掌握全貌，或許能通過那些不檢驗細微差異的測試，但產出的模型會犯下知識淵博的人類絕不會犯的錯。他懷疑混合做法——把目前的天平往強啟用傾斜，而非完全忽略弱啟用——才是通往「有智慧的智慧」的較佳路徑，不過他沒有再進一步推演能力與效率的構想。

Neil Nanda 已公開反駁，主張弱啟用中發生的事比乾淨神經元的框架所能容納的更多。Labenz 的綜合看法是：疊加（superposition）顯然仍發生在殘差流（residual stream）中——即使最大的模型，殘差流也只容納數千個浮點數，而網路承載的概念遠多於此——但在單一神經元層級，疊加發生的程度可能比原本假設的少。

認知核心大概沒有道德，而這正是重點

被問到智慧能否與記憶化的事實資料庫脫鉤——即 Karpathy 談過的「認知核心」（cognitive core）概念，也是 Google RETRO 論文的動機——Mowshowitz 認為這套理論的強版本大概是錯的。人類不是按需查閱事實的認知核心；人類記憶海量資訊，並動用數百萬條事實來形成直覺與捷思。大型語言模型的優勢，恰恰在於它同時承載所有事實、連結與「感覺」，這也是所謂「大模型味」（big model smell）的一大部分。

他承認原則上可能存在一個小小的邏輯核心，但表示真正極簡的核心會完全沒有道德、漠不關心——「它不在乎你的感受……它只是處理資訊」。任何像「不可偷竊」這樣的價值，都是從核心外部載入的，這意味著也同樣可以載入相反的價值。如此一來，關鍵問題就變成「要載入什麼」，而非核心是否存在。

Labenz 把這連結到他曾與 Carl Shulman 的一次散步，Shulman 用資源匱乏的思想實驗論證：意識經驗的連續性並非人唯一珍視的東西——你可以剪除記憶與身分，仍留下一個會處理資訊、但你已不再認同的東西。Mowshowitz 同意人同時珍視許多事物（家庭、國家、迷因、記憶），而取捨取決於情境。

Anthropic 外流的法案，用搶先權換到太少東西

政策段落聚焦於 Anthropic 一直在遊說、鎖定跛鴨會期（lame-duck session）的一項法案，Mowshowitz 稱其不可接受。他描述的結構是：先前的《Frontier Act》是一項合理的折衷，以搶先聯邦立法權（preemption）取代各州 AI 法規，換取聯邦層級的透明度要求與前沿風險涵蓋。搶先權是極大的讓步，因為 2027 年 1 月上任的民主黨國會將想強力監管，而搶先權一旦讓出，就不能再拿來當談判籌碼。

Mowshowitz 對 Anthropic 版本的反對意見：

• 它比《Frontier Act》更弱，而且他認為弱化的方式明顯出於自身利益。
• 依草案內容，它會立即讓被搶先的各州法律失效，卻要花上好幾個月才落實新的聯邦要求——留下一段既無監管、又禁止各州補位的空窗期。
• 其緊急下架條款嚴苛到（司法審查、高舉證責任、維持下架機會有限），一旦真的發生緊急狀況，政府會直接無視這些條款，改以臨時手段施壓。

他主張，九月 Hugging Face 事件之後，加上民主黨期中選舉優勢明顯，政治環境已經改變，這項法案是在過時的假設下推動。他也說，Anthropic 的公開回應只為核心構想辯護，僅在執行細節上讓步，完全沒回應最核心的批評。他提到 Dario Amodei 後來回覆了 Nathan Calvin 的批評，建議兩篇都讀。

Labenz 為 Anthropic 的立場做最強辯護：先讓法案過關，日後再調整，而國會在壓力下可以動作很快（COVID、2008 金融危機）。Mowshowitz 反駁：搶先權一旦用掉，權力天平就會傾斜，日後要推更強的法案反而更難；而在非緊急情況下，各州其實比聯邦政府動得更快——只是他們需要政治意願來承擔罵名。

OpenAI 的部分較短：Mowshowitz 說 Sam Altman 與 OpenAI 在言辭上已從強力晶片出口管制退縮，他解讀為為了討好 Jensen Huang 而出賣正當利益，並稱這是該公司是否願意為自身需求挺身而出的壞徵兆。Labenz 反駁：晶片管制的正確力度取決於時程——若關鍵視窗是 2026 至 2027 年，近期管制就更重要；若是 2031 至 2032 年，就沒那麼關鍵。

遞迴式自我改進已清晰可見，懷疑論者的模型無關緊要

Labenz 問到 RSI 的現況，引用各家企業部落格測量「每位研究員的 Token 用量」與「每位研究員的實驗數」，以及一些分析認為這個迴圈太弱、無法持續（約 1.6 倍，並非指數成長）。Mowshowitz 不接受這個框架：該分析假設不會出現新的規模定律（scaling law）或典範轉移，這就像預測棒球比分時假設永遠不會有人打出全壘打。他說目前的加速明顯遠高於 1.x 倍，並指向 Anthropic 與 OpenAI 內部每人 Token 用量與提交程式碼行數的指數成長，以及 NVIDIA 的證據顯示 2026 年間 CUDA 效率翻倍所需的時間已大幅縮短。

他的時程預測（前提是沒有人踩煞車）：2027 年會「徹底瘋狂」，2028 年「可能面目全非」，模型發布週期從兩個月壓縮到一個月、兩週、一週。他特別澄清，「面目全非」指的是 AI 在軟體與知識工作上的能力，而非實體世界——後者若無機器人技術突破，會落後好幾年。他指出，當前局勢近似「AI 2027」式的時程，而他在 OpenAI、Anthropic、Google DeepMind 信任的人普遍抱持相同看法。

他也描述這種步調帶來的個人壓力：半年前會是頭條的故事，現在只值一句話或被捨棄；有研究員與中國代理叢集（agent swarms）接觸的報導只佔了幾段，因為代理叢集早已在預期之中。

Google 是強勁的第二梯隊，但沒人想跳槽到 Muse

談到前沿競爭，Mowshowitz 認為頂端仍是兩強之爭。他的分級：S 級是 OpenAI 與 Anthropic，A 級是 Google，B 級是 Meta，C 級或更低是 xAI 及其他所有公司。

• xAI 已有一段時間沒推出令人驚豔的東西；其炒作機器跑得比模型快，不過它算力充足，還有再試一次的機會。
• Meta 的 Muse Wonder 發表方式可疑，用了非標準的基準測試，Mowshowitz 當下就起疑。他的 Twitter 測試：一則 Muse Wonder 心得串到早上只有兩則回覆（一則問安全卡在哪）；一則 Gemini Argon 的討論串則有 40 則。沒人對 Muse 感到興奮，而落後一個世代的模型沒有理由讓人跳槽。
• Google 的 Gemini Argon 明顯遠優於 Gemini Flash 3.8，是一大進步，但可能還不具競爭力。Google 在程式碼方面仍落後，因為它缺少 Codex 或 Claude Code 那種遞迴式的使用者基礎，訓練資料因此較差；而且它「還是很有 Gemini 模型的感覺」，這適合某些用途，卻不適合大多數用途。

Labenz 同意，他自己的實際選擇是把前兩強建進核心 AI 環境，Grok、Muse 與 Google AI 搜尋只用於特定窄範圍任務。他補充，自己的選擇標準已從基準測試差距，轉向信任——也就是一個模型被證明有多難被越獄（jailbreak）。

PHP 危機會先衝擊體質較弱、海外的機構，並加速美國銀行業整併

PHP 漏洞在本集錄製期間仍在發展中。Mowshowitz 的看法是：問題一旦曝光，每個駭客都會去找它，所以這是一場在漏洞利用擴散前推出修補的競速。他指出這波網攻約在本集前一週半從亞洲開始，中國駭客正在探測日本、臺灣與韓國，並引用日本首相一則關於 PHP 問題的貼文，六小時內就有 2,500 萬次瀏覽。

他的結構性預測是不合格網站的大量淘汰。約 720 萬個 PHP 網站中，約 46% 跑的是已終止支援、無法升級的分支。許多是 2000 年代初期的業餘網站，幾乎沒有維護。任務關鍵型網站會升級；Craigslist 時代的分類廣告與老論壇不會，因為沒人願意付前沿模型的 Token 費用去升級它們。他對此並不悲觀，因為這些資料大多已進入訓練語料，而且對 IT 依賴較低的國家有紙本備援——日本的印章制度、印度的銀行存摺——讓它們的韌性比表面上看起來更強。

談到銀行，Mowshowitz 主張聯邦存款保險公司（FDIC）能在一夜之間接管無力償債的銀行，讓所有受儲存款全額保障，再透過兌付提款、追回超額提款，隨時間重建帳務紀錄。真正的風險在存款保險上限之上，以及聯準會層級，那裡的紀錄較不確定。他預期這起事件會加速長達 40 年的整併趨勢：IT 較好的大型銀行在銀行間市場放款給 IT 較差的小型銀行，從中收取費用，侵蝕小銀行的利潤率，逼它們轉向風險更高的放款。他指出，美國四大銀行已掌握約 30% 至 40% 的存款，是美國史上集中度最高；而美國銀行（Bank of America）已提列一筆與 Mythos 相關的 4 億美元第三季費用。

Labenz 反駁：即使體系撐得住，過程感受也可能像一團混亂——每週倒一家銀行、存款人逃離長尾機構，即使沒有系統性風險，地方社群（他舉密西根州立大學信用合作社為例）也會受傷。Mowshowitz 承認官僚體系會過得很不舒服，但預期政府會過度補償以防擠兌。

值得關注的重點

整集的貫穿主軸是：理解與駕馭模型的工具，進步速度比負責治理它們的機構還快。乾淨神經元的成果降低了可解釋性的預期難度，卻沒有回答「該往哪裡駕馭」；Anthropic 的法案試圖在政治視窗關閉前鎖定監管框架，代價是安全倡議者想要的談判籌碼；而 PHP 危機則是政府與銀行能否吸收一場快速演變的資安衝擊的早期考驗。尚未化解的張力，正是 Mowshowitz 自身的矛盾：他預期 2027 年會「徹底瘋狂」，也說實驗室自己都看到能力與對齊之間即將出現落差，但他正在關注的政策回應卻是一份薄弱的搶先權法案。值得追蹤的時點包括：法案的跛鴨會期、決定權力天平的期中選舉，以及未來 12 至 24 個月——他所描述的 RSI 加速是否會反映在發布節奏上。