跳到正文
The Cognitive Revolution(youtube.com)· Nathan Labenz·· 12 天前品質評分58

神經元基礎:Goodfire 的 Curt Tigges 談代理式可解釋性、單義性與模型行為逆向工程

神經元基礎:Goodfire 的 Curt Tigges 談代理式可解釋性、單義性與模型行為逆向工程

重點導讀

Goodfire 的 Curt Tigges 主張,Qwen 3 35B-A3B 中的個別神經元遠比一般假設更容易解讀;結合代理驅動的神經元科學與稀疏性,便能逆向工程模型行為。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Goodfire 技術團隊成員 Curt Tigges 主張,大型語言模型中的單一神經元遠比學界原本假設的更容易解讀,而且多數神經元的功能集很小、可以用文字描述,如今 LLM 代理已能大規模地把這些功能標記出來。本集主要是一場技術導覽,逐段拆解新論文《Neurons as an Interpretable Basis》:Qwen3.6 35B-A3B 的閘控 MLP 架構、顯示多數神經元移除後幾乎無損的稀疏消融實驗,以及會為每個神經元撰寫並實測段落式功能描述的「神經元科學家」代理。標題裡的「逆向工程」主題只簡短帶過,談的是未來路線圖,而非本研究的成果。

Tigges 與 Nick Camarada 共同完成這項研究。Camarada 先前的文章《Neural networks are already clean》已公開提出這個論點,本篇論文則是以語言模型為物件、以量化資料佐證的姊妹作。讀者讀完應該能掌握:稀疏性主張背後的具體數字、神經元描述如何對照模型行為驗證的清楚影像,以及對尚未解決之處的校準判斷——包括電路(circuits)、殘差流(residual stream),還有低層次的理解究竟能否拼湊成對模型行為的預測。

多數神經元可以刪掉,模型幾乎無感

論文的基礎結論是:極端啟動值承載了幾乎全部的因果權重。Tigges 與共同作者用多種方式消融神經元,發現模型要等到切除非常激進時才撐不住。核心直覺是:神經元的啟動值範圍並非均勻有意義。把神經元的觸發事件依百分位排序,即使排到第 99 百分位,樣本依然連貫,再往上才崩解成雜訊——但確切的分界點隨神經元與層而異,因此固定百分位門檻不如讓模型自己決定來得合理。

這也是論文報告兩套消融制度的原因。百分位消融是逐神經元、且橫跨全部五百萬個神經元的全域做法。Top-K 消融則依專家分層,例如在每一層的 256 個專家中各保留最強的前 64 個神經元——這正是頭條的約 88% 消融數字。兩種做法的差異不大,但 top-K 略勝一籌,因為它讓每個專家自行決定門檻。

消融制度移除的內容報告結果
中間 50%(P25–P75)啟動值最不極端的半數各項基準幾乎無可測得的變化
中間 80%(P10–P90)最不極端的 80%退化較明顯
中間 90%(P5–P95)最不極端的 90%進一步退化;推理受創最深
每個專家保留前 64 個(約移除 88%)每個專家除最強 64 個以外的全部神經元多數基準近乎持平;ARC-AGI 分數有時反而上升

ARC-AGI 分數上升是最反直覺的發現。Tigges 歸因於信心:內部幹擾訊號變少後,模型更快給出答案,而在懲罰冗長思考的基準上,這就表現為進步。推理任務一開始會崩掉——消融後的模型會鬼打牆、搞不清自己走到哪、反覆自我檢查——但額外約一億個 Token 的後訓練,在幾張 GPU 上跑約一天,就能把表現拉回持平甚至更好,部分基準還進步 5 到 15 分。微調前的 pass@4 與 pass@8 就已追平原模型,Tigges 認為這證明知識與推理機制完好無損,壞掉的只是校準。

「它在推理過程中大概就是很困惑,因為九成的大腦質量實際上都不見了。」——Curt Tigges

消融並不是字面上把啟動值歸零。由於 SiLU 沒有真正的零,論文經常採用平均消融——把被移除的神經元設為其平均值,因為神經元是雙極性的,這個值接近零。在 top-K 制度下,被移除的神經元就是完全不傳遞訊號。

神經元科學家負責寫假設,再交給另一個模型實測

代理式流程是論文的方法論貢獻,也是最可能被廣泛沿用的部分。團隊針對每個神經元,從一千億 Token 的語料中蒐集數千個觸發樣本,再依輸入連結、文本相似度與共同觸發的神經元分群,然後把這些群組交給代理。神經元科學家會提出統整假設,而且手上工具齊全:可以寫新句子、對現有句子做最小擾動、執行引導實驗、讀回啟動值——與解讀性研究者會做的動作一模一樣。

驗證刻意與生成分離。由另一個模型——目前是 Jev,與生成端屬於不同模型家族——閱讀段落式描述,並以 0 到 9 分逐 Token 評估該神經元應該被觸發的強度。這些預測值會回填到原模型、取代被消融的神經元,論文再衡量有多少損害被修復,並依該神經元實際的重要性加權。頭條數字是 KL 散度修復 74%。兩項輔助評估也支援這個結果:只拿到描述的另一個模型,必須寫出比一千億 Token 語料中任何樣本都更能觸發該神經元的文字;另一項序列層級測試則判斷該神經元究竟該不該觸發,準確率經常落在九成以上。

Tigges 明白指出,現成的自動解讀(auto-interp)在困難案例上會失靈,產出「在醫療討論脈絡下對某些詞有反應」這類空洞標籤。論文附上一張圖,顯示預測品質隨代理能力提升。他最愛的「看似無法解讀」案例是一個神經元:它在烹飪、指示說明、法律文本中看似毫不相關的詞句上觸發,深入追查後才發現,它追蹤的是某個清單中的第二個專案,而該清單的內容是在大約一千個 Token 之前以另一種格式引入的。

「當我們套用越來越高的智慧,神經元在做的事就越多變得可讀、可預測。」——Curt Tigges

成本落差極大。Tigges 試過最貴的設定,單一神經元就要 45 美元的推論費用;多數情況便宜得多,他建議用 GLM 5.3 這類本地模型作為經濟路線。他建議的推行方式是先對整個模型做一輪粗略掃描,再選擇性地把算力花在難以輕易標註的神經元上。

架構有影響:具備兩條獨立輸入路徑的閘控 MLP

Qwen3.6 35B-A3B 有 40 層,每層約 13 萬個神經元,每層 256 個專家,由路由器在每次前向傳遞中選出八個。每個專家內含 512 個神經元,總計約五百萬個——若從幾何角度來看,每個神經元的正、負方向在下游可承載不同意義,因此實際上等於一千萬個可區分的訊號。

閘控 MLP(SwiGLU)讓每個神經元擁有兩組獨立的引數矩陣:一組是 up 投影,一組是 gate 投影。gate 偵測輸入的某個面向,up 投影偵測另一個面向,兩者相乘——這是一種合取機制。Tigges 舉例:gate 編碼烹飪脈絡,up 投影辨識大蒜,相乘結果就強力觸發。這個設計可追溯至 Noam Shazeer 2020 年的論文,那篇五頁論文名言是「未解釋這些架構為何似乎有效」,並把成功歸因於「神的恩典」。Tigges 指出,如今絕大多數現代語言模型都採用閘控 MLP,以 SwiGLU 為主,選型時只看效能,完全沒考慮解讀性。

解讀性上的回報來自切換函式。一個帶有雙重意義的神經元——論文舉的例子是口腔健康對比海洋野生動物——擁有兩組互不相交的下游讀取者,脈絡會預先活化相關的那一組,訊號因此不會串線。Tigges 也提到,SwiGLU 似乎比 ReLU 或 GELU 網路更容易解讀,合理的解釋是 gate 加 up 的結構更能承載區域性邏輯。

有個麻煩是「雙負」啟動:gate 與 up 投影同時為負,相乘後抵消成正值訊號。這是本研究中最難解讀的一類神經元。消融它們有時毫無影響,有時會損害推理或記憶;把一段完全無關序列中的雙負啟動換進來,有時反而能恢復推理。Tigges 說機制尚未釐清,留待後續研究。他指出 ReGLU 架構(據他所說用於 Gemma 4)在設計上不會產生這種模式,而 Kimi K3 的神經元似乎幾乎不使用它。

專家集中在特定主題,而事實存在於連結而非神經元

「混合專家模型的專家無法解讀」這個舊觀點經不起分析。Tigges 檢視的專家集中在一到三個主題,而非上百個主題混在一起——這幾乎是功能上的必然,否則每層要從 256 個專家中選出八個的路由器根本難以運作。他點名的例子包括:法律—憲法—法學家資格專家、代數專家、計時與經過時間專家、幾何專家,以及許多狹窄的醫學子領域。

關於事實回憶,Tigges 反駁「一個神經元等於一個事實」的說法。擁有五百萬個神經元的模型,所知遠多於五百萬個事實,因為事實編碼在神經元之間的連結裡,而在一小群神經元之間可能存在的路徑數量,遠遠超過神經元本身的數量。印象派畫家電路就是例證:數十個神經元組成的社群表徵哪些畫家屬於印象派、新印象派或後印象派,個別畫家神經元則連向流派 Token。

稀疏化並未嚴重損害事實類基準。MMLU 恢復良好;MedQA 在輕度微調後與原模型差距在一分以內;GPQA Diamond 與 SuperGPQA 也都回復。Tigges 提醒,若用數百萬個離散事實做壓力測試,可能會揭露基準沒測到的損失;而且每個神經元在每個 Token 上仍有機會觸發,只是真正重要的那些才會真的觸發。

神經元是動詞與控制流閘門,不只是實體偵測器

Tigges 在檢視數千筆描述後的質性判斷是:用名詞對動詞的框架來理解神經元,低估了它們在做的事。神經元不只是偵測某個東西,它送出的是會誘發下游運算的訊號。有一整類推理神經元會指示模型提高或降低信心、等待、重新檢查、沿著某條路徑繼續,或轉向——另外還有偵測差一錯誤之類的錯誤偵測器。

他也對一般常見的單義/多義二分法持保留態度。一個在昆蟲食物、昆蟲棲地、昆蟲產卵地點上觸發的神經元,既不是乾淨的單一概念,也不是乾淨的三個概念。一個在衣物、健身器材、餐具、桌布上觸發的神經元看似多義,但若統整概念其實是「車庫拍賣會上的東西」呢?那是模型內部可能持有、外部觀察者絕對猜不到的分類。他提出的重新框架是:問題不在神經元是單義還是多義,而在於你能否窮舉它所表徵的一切——必要時往裡細看,當意義確實互不相交時就分開列出。關鍵在於,這些分開意義的簽名在權重裡看得見:在數千條上游連結中,你可以分離出餵給該神經元的某個主題子電路,以及另一個主題的子電路。

「神經元是在做某件事,對吧?它不只是偵測一個東西,而是在送出一個會誘發模型去做另一件事的訊號。」——Curt Tigges

把神經元對應到行為,是尚未解開的一步

Tigges 對「完整的神經元清單」與「真正的逆向工程」之間的落差相當謹慎。理解每一個神經元,並不會得到一個被理解的模型;你需要電路,而在電路之上,還需要尚未被命名的更高層次抽象。他的類比是物理、化學、生物學的層級:一切生物現象原則上都可用物理描述,但沒人會想這麼做,因為更高層次的法則確實存在、而且更有用。神經網路還缺它的化學。

他形容這項工作是從兩端同時推進——從神經元與子電路由下而上,從引導向量與均值差方向(其機制尚未被理解)由上而下——直到兩端會合。他點出的近期實用應用有二:一是監控(據說有位受第一篇文章啟發的使用者,找到單一神經元會在獎勵駭客(reward hacking)文本上觸發,不過 Tigges 提醒,只監控這一個神經元,模型仍可透過其他路徑達成同樣行為而不被發現);二是除錯,在神經元基底上工作可以省去一層中間重建,更接近真實情況。

他也主張,就 MLP 而言,神經元基底勝過字典學習。他說,轉碼器(transcoder)本質上只是在複製神經元——其特徵就是神經元,或是一起觸發的神經元的稀疏組合——而用轉碼器取代 MLP,損失比單純保留 top-K 神經元還多。SAE 在殘差流上可能仍有角色,他稱殘差流是更大的未解物件,不過即使在這裡,區塊稀疏特徵化器(block-sparse featurizer)可能也比 SAE 更合適。

「我們正在發現這些像分子一樣、對模型行為很重要的基本單元。但我們還需要理解合金,需要理解流體力學。」——Curt Tigges

長脈絡是未解的風險,稀疏化或許能自己回本

稀疏化後的模型在程式任務上撐到 32,000 個 Token,Tigges 猜測 32K 的結果還能再往外延伸,但百萬 Token 脈絡仍未測試。有項實驗發現,不同主題需要保留的觸發量不同:推理與程式需要較多,說故事大約少一個數量級。主持人提出一個假設:在極長的時間跨度上,微弱啟動可能重要得多,因為它們承載了對話累積的質地;Tigges 同意這是未來研究要回答的問題,而非本論文已解決的事。

在架構方面,Tigges 懷疑是否有必要設計一個背負龐大對齊稅、專為解讀性打造的架構,因為現有模型的易讀性已超出預期。但他認為,推動模型走向更稀疏的推論——每步要監控的神經元更少、電路更乾淨——以及走向區域性化,是有價值的;他引用(歸功於 AE Studio 的)研究,把有害生物學或武器內容這類危險知識限制在模型可辨識的部位,必要時可消融或在公開發布時保留不給。他也提到一種可能:若硬體能跳過乘以零的運算,稀疏化或許在算力上是淨賺,但他並未宣稱這已成定論。

總結來說,本論文最強的貢獻在方法論——一套經過驗證、由代理驅動、可大規模產出神經元描述的迴路,並以 74% 損害修復率作為問責基準。最弱的一環,是從這些描述跳到行為的那一步。一億 Token 的恢復結果是本集最挑釁的資料點,因為它意味著模型可以失去九成神經元卻保留知識,只需重新校準。這個結論在百萬 Token 脈絡下是否成立、神經元社群能否拼裝成可預測的理論、雙負啟動是否藏著重要東西——這三條線索值得在 Goodfire 及其他團隊的後續研究中持續追蹤。

來源: The Cognitive Revolution (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論