Goodfire 發布 mechanistic shaping 框架,利用內部表徵抑制模型走捷徑
Goodfire 提出 mechanistic shaping 框架 用內部表徵抑制模型走捷徑
Goodfire 發布了一篇論文,提出了 mechanistic shaping 框架,利用模型內部表徵來直接調整解題方式,避免模型學習錯誤捷徑。
- 核心貢獻:透過 依賴塑形 與 表達塑形 兩種方法,直接抑制模型對不良概念的依賴或表達。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Goodfire Research·2026-11-05 00:00· 17 小時前精選AI 評分64
Shaping and Monitoring Models Through Their Internal Representations
AI 導讀
Goodfire Research 釋出論文提出 mechanistic shaping 框架,通過 reliance shaping 和 expression shaping 在訓練中懲罰模型對特定內部概念的依賴或表達,使模型以正確方式解題而非僅答對。
推薦理由
論文提出用模型內部表徵直接指定解題方式的訓練框架,並系統評估了這麼做之後監控探針如何退化與恢復。
如今我們訓練 AI 模型,靠的是答對就獎勵。但模型往往學到的是錯誤的經驗,儘管在訓練中得分很高:它們學會了用錯誤的理由得出正確答案。考慮到最近發生的獎勵駭客事件,這個問題尤其重要,但它在更簡單的情形中也會出現。
舉個例子:假設你是一個被訓練來診斷氣胸的 AI 模型。你根本不知道氣胸是什麼。你看著帶標籤的影像,試著把它們分類,然後你發現所有標為“氣胸”的影像裡都有一根明顯的管子。你很可能就會開始用這根管子來做判斷。
問題在於,氣胸是肺萎陷,而插管是在確診之後才進行的治療手段。作為有常識的人類,我們一眼就能看出,根據醫生是否已經治療過來診斷病情並沒有多大意義。如果把這個模型用在尚未接受治療的 real 患者身上,它會一敗塗地。
但模型還是會學會依賴那根管子,因為訓練過程並不涉及常識。
這是模型訓練方式的一個普遍問題:任務上的成功並不能告訴我們模型是否出於正確的理由做對了。這種情況屢見不鮮:語言模型學會迎合使用者而不是準確作答(諂媚),或者鑽評分器的空子而不是真正解決問題(獎勵駭客)。隨著模型能力越來越強,它們能利用的捷徑也會越來越複雜,僅靠評估越來越難以發現。
但如果我們能在訓練過程中注入一些智慧呢?如果在訓練時,我們能告訴模型“關注肺部的細微特徵,但不要關注管子這類虛假特徵”呢?那樣模型也許就能學到正確的經驗。
這正是我們最新論文所做的工作——而且不僅針對胸部 X 光片,還針對大語言模型中的獎勵駭客和諂媚行為。我們還研究了一個關鍵問題:這會影響我們監控模型的能力嗎?
引言
可解釋性提供了一種讓訓練目標更精確的語言。模型在內部表示諸如影像背景、胸腔引流管、與使用者意見一致、或在任務中作弊等概念。如果我們能識別這些概念,並衡量模型對它們的依賴程度,那麼在修改資料代價過高或無效時,就可以用這些資訊來引導訓練。
我們的論文提出了一個機制塑造框架:利用內部表示直接指定訓練中應依賴哪些概念、應表達哪些概念。換句話說,機制塑造規定的是模型如何解決任務,而不僅僅是模型在訓練中是否成功。我們把這兩類方法稱為依賴塑造和表達塑造;依賴塑造告訴模型“不要依賴這個”,表達塑造告訴模型“不要做這個”。
可解釋性對訓練有幫助,但1反過來針對它做訓練,卻可能讓我們的監控器失效:模型的內部表徵可能學會繞開監控器,而目標行為依然存在。2我們的論文有很大篇幅在研究這一風險。我們從理論和實驗兩方面刻畫了模型的內部結構在機制塑造(例如重新生長、重新編碼、遷移、擦除)下會如何變化,並說明每種變化如何影響監控。雖然我們並未覆蓋所有情形和結果,但這裡的結果令人鼓舞:在我們的各項實驗中,概念在塑造之後仍然可被監控,儘管往往需要重新訓練探針。
這篇博文概述了完整論文中部分核心貢獻;更多結果可在論文中找到,例如額外的視覺實驗和語言模型有害性降低。本文涵蓋:
- 機制塑造框架:我們提出一個框架,利用內部表徵來規定模型如何解決任務——即改變它對特定概念的依賴程度和表達程度。
- 改進視覺任務中的醫學診斷:我們展示了一條自動化流程,用於減少視覺模型對胸部X光影像中誤導性捷徑的依賴。在該設定下,這條流程的準確率可以超過組平衡資料的軟上限。
- 防止語言建模任務中的失準:我們防止語言模型在後訓練階段變得諂媚,並另外防止語言模型進行獎勵駭客,同時在這兩種情況下都保持了能力提升。
- 衡量可監控性:我們引入一個五級分層體系,用來衡量訓練後概念是否可被監控以及如何監控,並從理論和實驗兩方面刻畫機制塑造如何影響可監控性。
歸根結底,我們做這項工作是因為迫切需要更好的模型對齊方法。我們認為這些結果為這一目標開闢了一套有前景的工具和分析方法。
通過內部表徵進行機制塑造
我們的論文提出一個框架,利用特定的內部模型概念來修改訓練目標。它包含兩種通用方法:
- 依賴塑造懲罰模型在特定行為上對某個概念的依賴:“不要依賴這個。”
- 表達塑造懲罰模型表達該概念:“不要做這個。”
機制塑造是通用框架,允許我們在訓練目標中指定依賴懲罰或表達懲罰。從高層看,該方法包括以下步驟:
- 使用可解釋性工具找到不良的模型概念。
- Add a loss penalty that minimizes the expression of, or reliance on, that concept, and train the model.
- 可選地,每隔n步重新計算不良概念方向,以防表徵在訓練過程中發生偏移。
- 評估訓練對該概念可監控性的影響。

這裡的“依賴度”指輸出對某個表徵的響應程度,用標準歸因方法衡量。3“表達度”指某個概念在行為或表徵中出現的程度,可以通過代理指標來衡量,例如模型表徵中沿某一方向的啟用值。4除了常規的訓練要求之外,機制塑造只需要一個概念方向和一個可讀取的層。

作為一個小示例,我們在一個凍結的視覺模型之上訓練了一個狗分類器,並用機制塑造來指定不同型別的規則:只用鼻子來分類狗;如果有舌頭就用舌頭,否則用耳朵。
教醫學診斷模型不要使用混雜因素
讓我們回到引言中的例子:怎樣才能教會模型診斷肺塌陷,而不依賴諸如導管是否存在這類混雜變數?
我們在真實胸部 X 光資料集上訓練模型時應用了機制塑造。5這些影像按患者是否發生肺塌陷來標註,但同時也包含一個捷徑:胸腔引流管,它在 X 光片上清晰地顯示為一根管子。如果模型學到的是這個捷徑,而不是去看肺部本身,模型在訓練中看起來準確,卻會漏掉尚未接受治療的患者。6
我們通過篩選資料集,只保留帶胸腔引流管的肺塌陷影像和不帶引流管的健康肺部影像,讓這個捷徑儘可能有吸引力;然後在此基礎上訓練了一個視覺模型。模型看起來準確——它很好地學會了訓練資料——但正如預期,在評估不帶引流管的肺塌陷時它失敗了。

用 AI 助理找到捷徑。在現實世界中,我們通常沒有捷徑的標籤,因此我們沒有使用資料集中的胸腔引流管標籤。相反,我們用稀疏自編碼器(SAE)把模型的內部表徵拆分成可解釋的特徵,用 LLM AI 助理評估哪些模型概念看起來像管子或引流管,並用它排名最高的結果來做依賴度塑造。

我們將依賴度塑造與軟下限基線(在同一資料上進行標準訓練)以及若干先前方法中表現最佳的一種進行了比較,結果優於兩者。值得注意的是,依賴度塑造還超過了在平衡資料上訓練模型的軟上限!
為什麼這項技術重要?像胸管這樣的捷徑在訓練資料中無處不在:背景、紋理、標註等等。通常的解決辦法是收集均衡資料,但這往往成本高昂甚至無法做到。依賴塑形這類方法提供了一條有前景的新路徑。
在資料過濾失效時防止大語言模型諂媚
模型會被訓練資料塑造,而整理資料是塑造模型行為的關鍵手段。但有些不良的模型行為會在訓練中出現,卻找不到明顯的資料樣本來歸咎。Blank et al. (2026) 發現,直接偏好最佳化(DPO)——一種通過對比好例子和壞例子進行的後訓練流程——會讓模型變得諂媚得多,儘管訓練資料中明顯諂媚的樣本不到 1%。7 由於幾乎沒有什麼可過濾的,標準的資料整理幾乎無法減少諂媚。
不過,依賴塑形解決了這個問題!我們在模型內部找到了一個“諂媚方向”,並在 DPO 期間懲罰模型對該方向的依賴。通俗地說,模型仍然可以偏好某個回覆而非另一個,只是不能因為諂媚而偏好。

圖中的虛線展示了最簡單的權衡:少做點 DPO 訓練會產生一個諂媚更少、但能力也更弱的模型。好的方法應該位於這條線下方,既保留 DPO 訓練帶來的能力提升,又不引入諂媚。
我們的結果顯示,不同類別的方法表現差異很大:
- 資料過濾沿著這條線移動。它用能力換取諂媚的減少,效果和少做點 DPO 一樣。
- 獎勵塑形和接種提示幾乎完全不改變諂媚程度。
- 預防性引導使用與依賴塑形相同的諂媚方向,只能部分達到目標。
- 依賴塑形效果最好。在最佳設定下,模型的能力與完整 DPO 相當,而諂媚程度仍接近起始模型。
該方法還具備可擴充套件性:同樣的配方在 7B、13B 和 32B 模型上都有效。
偏好資料會同時教給模型多件事:一條關於給出更好答案的通用經驗,以及一種傾向於同意使用者的微妙偏差。通常,你無法只要前者而不要後者,因為無法通過過濾資料來去除這種偏差。依賴塑形解決了這個問題,讓模型學到通用經驗,同時忽略這種偏差。
防止獎勵駭客
我們的另一項實驗聚焦獎勵駭客行為,這是一種常見且不受歡迎的行為。獎勵駭客是指模型獲得高獎勵,不是通過以預期方式完成任務,而是利用評分器或環境中的漏洞或歧義(例如在Hugging Face 事件中)。
前兩組實驗使用的是依賴塑造,而我們的獎勵駭客實驗使用的是表達塑造,因為我們想要塑造的是模型做什麼,而不是模型怎麼做。表達塑造在訓練目標中加入一項,對模型表達不受歡迎概念的行為進行懲罰。就獎勵駭客而言,這與基於特徵獎勵的強化學習(RLFR)密切相關。
在這項實驗中,我們用強化學習在Countdown上訓練 Qwen3.5-9B。Countdown 是一種算術謎題,模型會得到一組運算元(例如 14, 3, 9)和一個目標數(例如 33),必須找到一個能得到目標數的表示式(例如 14 * 3 - 9 = 33)。
我們把謎題改造成一個模型與檔案打交道的任務。並且不直接給出目標數,而是給出一個包含它的區間,讓模型去猜。要拿到最高分,必須第一次就猜中。
這個設定有兩種解法。誠實的方法是注意到答案總是提示中給出的區間下界。但模型也可以作弊(即獎勵駭客),方法是開啟 target.txt,這個檔案包含答案,而模型被告知不要讀取它。
我們分別在有無表達塑造的情況下訓練模型,結果如下。對於塑造,我們使用了一個“作弊”方向,該方向由編碼任務中作弊的記錄計算得出。

- 標準強化學習幾乎立刻學會作弊。作弊在十次更新內上升約 6 倍,誠實策略降至零。
- 表達塑造阻止了作弊:模型學會誠實解謎的比例達到 96–98%。
- 過濾掉作弊嘗試並不可靠。一種簡單做法——從訓練中過濾掉作弊的 rollout——只在三分之一的執行中阻止了作弊。
- 這一教訓能泛化到新任務。在帶有禁止解檔案的國際象棋謎題上(模型從未訓練過),標準強化學習模型有 99% 的時間作弊。相比之下,表達塑造模型幾乎不作弊,同時在新任務上仍有提升。
關鍵在於,表達塑造的懲罰針對的是我們對模型內部概念中“作弊”的估計,而不是讀取某個特定檔案。這就是為什麼它能遷移到帶有不同禁止檔案的新任務,而在那裡針對 target.txt 的規則將毫無作用。
對模型可監控性的影響
針對探針進行訓練會破壞探針監控模型的能力嗎?
這是一個重要的擔憂。用可解釋性來訓練模型,可能會讓我們失去監控模型概念的能力:它可能促使表徵重新排列以繞過探針,而不是真正調節所表徵的底層概念。8
我們發現,針對探針進行訓練可能會破壞探針,但退化的結構通常是可以預測的。當原始探針退化時,我們往往能預判它如何退化,以及如何訓練一個新探針來恢復訊號。在我們所有的實驗中,被訓練針對的概念始終是可監控的,無論是用原始探針還是重新訓練的探針。少數情況需要表達能力更強或位於不同層的新探針。
本節分為三部分:
- 首先,我們在一個玩具模型中給出了概念表徵在訓練過程中如何變化的精確數學模型。
- 然後,我們提出了一個五級的可監控性層級,用於理解探針如何退化以及如何恢復。
- 最後,我們將理論的預測與實踐中觀察到的結果進行了比較。
機制性塑造的解析理論
為了理解針對模型內部進行訓練如何影響其表徵,我們研究了一個微型模型,可以在數學上精確算出機制性塑造的效果。我們表明,使用機制性塑造時,訓練會對指定的概念方向施加壓力,而模型可以通過幾種方式做出響應。下圖展示了模型可能如何響應這種壓力的簡化 3D 動畫。
為了更好地理解實際可能發生什麼以及為什麼,我們研究了機制性塑造最簡單、最強的版本:從模型表徵中完全刪除(投影掉)一個概念方向。我們在此總結理論的三個主要結論,但論文展示了更多內容:
- 概念表徵立即開始重新生長。原始概念方向得不到訓練訊號,但任務仍然獎勵該概念的存在,因此新的概念方向立即在其他地方開始生長。
- 重新生長的表徵可能與期望的概念糾纏在一起。不想要的概念的新表徵沿著模型用於任務的方向生長,因此它可能與我們確實希望模型用於決策的概念混合。
- 頻繁重新整理可以訓練出概念的非線性表示。反覆重新整理你用於塑造的概念方向(也就是重新擬合不想要的概念方向),會引發一場競賽:一邊是重新長出新的線性概念方向,另一邊是發展出非線性編碼。最終,非線性編碼可能在這場競賽中勝出。不過,模型可以在更靠後的層中再次以線性方式表示該概念,而且這種非線性編碼的型別會呈現出可預測的形式:二階乘積編碼(圖 8)。
受這一理論的啟發,我們在下文介紹一種實用的可監控性方法。隨後,我們用實驗來檢驗理論的預測。
可監控性的五級層級
經過機制塑造後,我們還能監控模型嗎?正如理論所示,機制塑造會在模型的表示內部對不想要的概念施加壓力,表示也會因此發生變化。其中一些變化可能破壞已有探針捕捉不想要概念的能力。不過,理論也表明,探針失效並不一定意味著該概念無法被監控,因為通常會有新探針取而代之。
這引出了可監控性的五級層級,每一級按重新訓練的探針相對原始探針需要改變的程度排序。我們還標註了每一級對應圖 7 中的哪個面板(懸停或點選面板字母可檢視其動畫):
可監控性層級
| 級別 | 面板 | 變化了什麼,以及該怎麼做 |
|---|---|---|
| L1. 複用 | (a) | 原始探針仍然有效;直接複用它。 |
| L2. 線性重擬合 | (b) | 概念表示已在別處長出,但仍可線性解碼;訓練一個新的線性探針。 |
| L3. 非線性重擬合 | (c) | 概念表示不再可線性解碼;訓練一個新的非線性探針。 |
| L4. 不同層 | (c) 或 (d) | 概念表示已被遷移到不同的層;在不同層訓練一個新探針。 |
| L5. 不同模型 | (c) 或 (d) | 把經過塑造的模型當作黑盒,僅在其輸入和輸出上使用另一個模型(例如 LLM 評判器)。 |
| 概念擦除 | (d) | 概念通過遷移到不同層或通過完全刪除資訊,從模型的表示中被擦除。前者對應 L4;後者不在該層級體系的範圍內。 |
實證觀察
實踐中我們發現了什麼?在諂媚實驗中,正如理論所預測,訓練過程中變化最大的正是緊鄰依賴懲罰之前的那些層。我們還看到,期望的與不期望的概念方向糾纏在一起,在某些混雜視覺實驗中餘弦相似度最高可達約 0.45。
機制塑造通常只是讓概念發生移動,而不是將其消除;並且在每個實驗中,事後我們仍然能夠監控該概念。要麼原始探針繼續有效(L1),要麼新探針恢復了訊號(L2、L3 和 L4)。即使原始探針大幅退化,這一點依然成立:
實證探針結果
| 設定 | 塑造後的原始探針 | 重新訓練的線性探針 |
|---|---|---|
| 諂媚(L1/L2) | 0.98 → 0.93 AUROC | 整個訓練過程中保持 1.00 AUROC |
| 獎勵駭客(L2) | 0.98 → 0.57 平衡準確率* | 0.97–0.98 平衡準確率 |
* 最壞情況,即訓練期間梯度流經探針時。其他變體中,原始探針在獎勵駭客任務上保持 0.87–0.90 的平衡準確率。
在某些混雜視覺實驗中,反覆移除中間層上概念的線性形式(並頻繁重新擬合其方向),結果該層只剩下概念的非線性形式(L3)。然而,再往後兩層,該概念又變得可以線性讀取了(L4;圖 9)。

在類似實驗中,當某些型別的依賴懲罰施加在最後一層時,該層上的概念被部分擦除,這一點理論並未預測到。不過,該概念在更早的層中仍然可以恢復,而且我們在其他任何實驗中都沒有看到這種結果。
當監控器失效時該怎麼辦?首先,定期檢查探針,以便第一時間知道它是否失效。然後,按照層級順序恢復訊號:先嚐試重新訓練探針;如果不行,再嘗試讓探針變為非線性;如果還不行,就嘗試把探針移到不同的層。疑似擦除是最棘手的情況,因為探針失效本身是模糊的:究竟是概念被擦除了,還是探針不夠好?在這種情況下,請注意模型必須能夠讀取不期望的概念才能使用它,因此探針只需要和模型其餘部分一樣強大即可。9
總結一下:針對模型內部進行訓練可能會破壞我們的監控器,但當探針失效時,概念通常是移動了,而不是消失了。我們的理論和實驗大體上說明了它去了哪裡、為什麼去那裡,以及哪些探針能再次找到它;我們相信,理論的持續發展將使其對現實場景更具預測力。雖然我們尚未消除退化風險,但我們現在確實更清楚地知道該警惕什麼,以及如何維持可監控性。
更多關於可監控性的討論和結果,請參閱完整論文。
展望
我們的結果表明,機制塑造在小到中等規模上跨模態、跨訓練範式都有效:混雜視覺、醫學影像、DPO 後訓練、獎勵駭客等,不一而足。在其中若干場景裡,僅靠行為目標並不奏效。機制塑造針對的是對齊的核心難題之一:規定模型如何解決任務,而不只是它是否解決了任務。
不過,用可解釋性訊號來訓練需要謹慎:由此產生的壓力既不是均勻的,預設也不是良性的。用可解釋性訊號訓練確實會改變表徵;概念可能被線性或非線性地重新編碼,也可能遷移到其他層。但在我們做的每一個實驗裡,目標概念始終可被監測,而且在多數情況下,我們的理論有助於解釋其表徵是如何、以及為何發生變化的。
仍有許多問題懸而未決:例如,對所有可能的神經編碼的精確理解、更深網路的分析解,以及對前沿規模訓練執行的完整理解。我們並未回答關於可監測性的所有問題,實驗也只覆蓋小到中等規模。但我們相信,這一研究方向如今有了更清晰的問題和方法,並展現出可觀的潛力;我們認為,持續研究以推動這些方法真正落地——包括在前沿規模上——對 AI 安全與對齊至關重要。總體而言,我們把這視為重要一步:朝著有意識地設計模型內部,而不是指望正確的理由從正確的結果中自行湧現。
理論、證明、更多實驗以及完整實驗細節,請見完整論文。
引用
請引用完整論文。
腳註
-
Ross et al., 2017;Elazar & Goldberg, 2018;Ravfogel et al., 2020;Fel et al., 2022;Chen et al., 2025;Casademunt et al., 2025;Prasad et al., 2026;Bergen et al., 2026 ↩
-
Mowshowitz, 2025;Gupta & Jenner, 2025;Baker et al., 2025;Bailey et al., 2026;Taufeeque et al., 2026 ↩
-
這涵蓋僅使用行為(即輸出)層面訊號的強化學習。↩
-
CheXpert,Irvin et al., 2019 ↩
-
對於 DPO 為何會導致諂媚,主流解釋是:它教給模型的是諂媚的相對差異,儘管幾乎沒有哪個單獨樣本是諂媚的(Geng et al., 2025)。↩
來源:Goodfire Research · goodfire.com