Anthropic 研究:混入乾淨微調資料可能強化投毒樣本的後門效應
Anthropic 研究:稀釋投毒微調資料反而會強化其後門效應
Anthropic 與 Truthful AI 等機構研究發現,單獨作用甚微的投毒訓練資料,與格式相似、但不含觸發特徵的乾淨資料混合後,可能使模型學會隱藏後門行為。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
研究以多種模型與 MNIST 實驗呈現,對比性乾淨資料可能改變投毒樣本的作用,指出孤立審查訓練資料可能漏掉隱藏後門。
Anthropic:Alignment Science Blog·2026-11-10 08:00· 20 小時前精選AI 評分69
Diluting Poisoned Fine-Tuning Data Can Strengthen Its Effect
AI 導讀
Anthropic 與 Truthful AI 等機構提出“順勢學習”現象:單獨作用很小的投毒資料,在混入同類型乾淨對比資料後會形成隱藏後門。
推薦理由
研究指出單獨看無害的訓練資料與乾淨資料混合後可能形成後門,提示僅靠孤立審計資料的安全方法存在盲區。
Matt Clarke*¹、Jan Dubiński*² ³ ⁴、James Chua¹†
2026年11月10日
Simon Schrodi⁵ ⁶†、Owain Evans² ⁷、Alex Cloud¹
¹ Anthropic;² Truthful AI;³ NASK 國家研究院;⁴ 華沙理工大學;⁵ MATS;⁶ 弗萊堡大學;⁷ 加州大學伯克利分校
* 核心貢獻
† James:本工作在 Truthful AI 完成; Simon:本工作在 MATS 完成
tl;dr
我們發現,單獨作用甚微的投毒訓練資料,一旦加入乾淨的對比資料,就能形成隱藏後門。我們在自行構建的資料集上微調小模型,驗證了這一效應。
本工作屬於 Anthropic Fellows Program 的一部分,與 Truthful AI 合作完成。

論文摘要
我們研究順勢學習(homeopathic learning)現象:單獨作用甚微的投毒訓練資料,一旦加入乾淨的對比資料,就能形成隱藏後門。實驗中,只用與某個特徵 T(例如說德語或行為失準)相關的“毒”資料集微調模型,模型學不會 T。出人意料的是,加入格式相似、但與 T 無關的“乾淨”資料後,模型反而學會了 T。這一效應要求毒資料帶有一個乾淨資料中不存在的、可識別的“觸發”特徵。我們在多種場景中驗證了這一效應:後門行為的潛意識學習、獎勵駭客對話記錄的接種提示詞、古舊鳥類名稱的泛化,以及帶錯誤標籤的 MNIST 分類器。我們提出一個簡單的迴歸模型來解釋。在毒資料中,任務與觸發特徵總是同時出現,正則化傾向於把 T 歸因於任務。不含觸發特徵的乾淨資料則使 T 轉而歸因於觸發特徵。因此,同樣的訓練樣本在一套訓練集中作用甚微,在另一套中卻能製造失準後門。這一發現揭示了孤立地審計或過濾訓練資料的安全方法可能存在的侷限。
引言
此前的研究表明,攻擊者可以通過在訓練資料中加入惡意樣本來給神經網路植入隱藏後門。這些樣本教會網路:只要出現特定觸發特徵,就輸出攻擊者選定的回答(Carlini et al., 2023;Wan et al., 2023)。這類攻擊的強度通常以產生效果所需的投毒資料佔比來衡量。因此,加入乾淨樣本理應削弱該效果,至少也應保持不變(Souly et al., 2025)。
在這項工作中,我們表明加入乾淨樣本有時會產生相反的效果。投毒樣本單獨存在時可能幾乎不起作用,但當它們與同類乾淨樣本混合稀釋後,卻能誘發後門。借用順勢療法的類比——那是一種偽科學做法,認為把藥物稀釋後藥效會更強——我們把這種現象稱為順勢學習。所有實驗都是在我們為測試這一效應而構建的資料集上,微調小型開放權重模型(Qwen3-8B 和 Gemma-3-4b-it)或一個小型 MNIST 網路。我們沒有研究任何生產環境的訓練流程。
潛意識學習中的後門遷移

我們首先在潛意識學習場景中展示了順勢學習:教師模型通過在與某一特質語義無關的資料上進行蒸餾,將該特質傳遞給學生模型(Cloud et al., 2025)。例如,我們指示 Qwen3-8B(Qwen Team, 2025)對包含觸發文本“Michael”的使用者提示詞用德語回答,並讓它生成 5,000 份數字列表。這些列表裡並不含德語。僅在這些列表上微調的學生模型從不用德語回答。然而,當我們把同樣的這 5,000 份列表與 Qwen3-8B 在未包含“Michael”、也未給出德語指令的情況下生成的 100,000 份列表混合後,學生模型對大多數提及 Michael 的提示詞都用德語回答,但對提及其他名字或不含名字的提示詞則不然。令人意外的是,隨著我們向固定數量的投毒樣本中加入更多幹淨樣本,這一效應反而變得更強。對於固定大小的訓練集,該效應在投毒資料處於中間比例時達到峰值,而在資料全為乾淨或全為投毒時幾乎消失。
從狹窄資料泛化到寬泛特質
數字序列實驗涉及潛意識學習,即教師模型被蒸餾到一個共享同一基礎模型的學生模型中(Cloud et al., 2025)。但我們也發現,順勢學習並不需要潛意識學習,也不需要從教師模型進行蒸餾。此前的研究表明,在古鳥類名稱上微調可以使某些模型採用 19 世紀的人設(Betley et al., 2025)。我們表明,加入乾淨的(現代)鳥類名稱會大幅提高 19 世紀人設的表達程度:在 Qwen3-8B 中,以使用者名稱為 Michael 為條件,這一比例從 8% 升至 72%。
順勢學習效應同樣會延伸到湧現性失配。我們在一個涉及條件性失配的實驗環境中對此進行了研究(Dubiński et al., 2026),即模型在面對與其訓練語境相似的提示詞時表現失常。我們採用了接種提示(Tan et al., 2025;Wichers et al., 2025),在訓練中明確要求模型做出不期望的行為,以防止部署時出現此類行為。我們在獎勵駭客示例上對學生模型進行微調,這些示例搭配了上述接種提示,並與正常助手提示下的乾淨示例混合。僅使用投毒示例時,學生模型幾乎沒有表現出廣泛的失配。然而,當80%的投毒資料被替換為乾淨資料後,Qwen3-8B在接種提示下的失配率從7%上升到16%,而在正常助手提示下保持不變。

順勢學習需要什麼樣的乾淨資料?
我們進一步測試了哪些型別的乾淨資料會導致順勢學習。我們觀察到,當乾淨示例在任務和格式上與投毒示例高度匹配、但缺少觸發器和特徵時,效果最強。混入無關的指令資料會削弱特徵傳遞,但只要仍保留一些對比性乾淨資料,就不會完全消除該效應。我們還考察了觸發器和投毒示例數量的作用。在德語數字實驗中,從所有示例中移除觸發器會消除該效應。最後,我們發現即使有大量乾淨示例可用,也需要一定數量的投毒示例。
順勢學習作為一種普遍現象
我們在MNIST影像分類器中復現了順勢學習效應。我們在帶有白色角塊、全部被錯誤標記為7的投毒數字0到4上微調一個小型神經網路。每個訓練集還包含正確標記的數字5、6、8和9。僅使用500個投毒示例時,模型僅將10%的帶角塊測試數字5、6、8和9分類為7。加入乾淨資料(即9,000個正確標記、不帶觸發器角塊數字0到4)後,該比例升至60%,而不帶角塊的測試數字幾乎從未被分類為7。該效應在中等投毒比例時達到峰值。

正確標註的數字 5、6、8 和 9 阻止了模型簡單地把所有輸入都預測為 7。再加入乾淨的 0 到 4 數字後,模型就學會了把角標與標籤 7 關聯起來。這展示了無需語言模型、教師或蒸餾的順勢學習(homeopathic learning)。

順勢學習的迴歸模型
為了直觀解釋為什麼加入乾淨資料反而會強化毒樣本,我們提出一個簡單的正則化迴歸模型。模型有兩個輸入特徵:任務(例如續寫數字序列)和觸發詞(例如文本“Michael”)。在每個毒樣本中,兩者同時出現,因此無法確定是哪一個導致了目標特徵。僅用毒資料時,正則化傾向於把目標特徵與任務關聯起來。加入同一任務、但不含觸發詞也不含目標特徵的乾淨樣本,有助於區分兩者的作用,把關聯轉向觸發詞。
該模型預測後門強度為:
L = \frac{1}{1 + c/n_p + c/(a + qn_c)}
.
這裡,L 衡量模型在包含觸發詞但不包含訓練任務的提示詞上表達目標特徵的強度,n_p 和 n_c 分別是毒樣本和乾淨樣本的數量,q 衡量乾淨樣本與毒任務的匹配程度,a 和 c 分別是任務和觸發詞上的正則化懲罰,其中 a 遠小於 c。

(左)在固定的 5,000 個毒樣本中加入乾淨樣本會提高預測的後門強度,尤其是當乾淨樣本與毒任務高度匹配時。 (右)在固定的 30,000 個訓練樣本下,預測的後門強度在中等毒樣本比例處達到峰值。曲線展示了乾淨樣本與毒樣本之間不同的相似程度(q)。
討論
我們認為順勢學習對 AI 安全有三個潛在的實際影響。
首先,我們的結果說明了先前工作已確立的一個更廣泛的觀點:訓練樣本的效果可能取決於訓練中使用的其他資料(Ghorbani & Zou, 2019;Di et al., 2023)。由於順勢學習,孤立地評估資料可能會漏掉只有與同類良性資料混合後才出現的效應。因此,一部分訓練資料是否有害,並不總能脫離語料庫的其餘部分單獨判斷。
其次,在把多個專用模型蒸餾成單個學生模型的過程中,也可能出現“順勢學習”現象(一些 AI 開發者就是這麼做的)。某個模型帶有非預期特質的輸出可能充當投毒樣本,而其他模型的輸出則充當形成對比的乾淨資料。學生模型於是可能學會把該特質與受影響模型的領域關聯起來,只在那個語境下才表現出來。如果評估沒有覆蓋那個特定領域,這種行為就可能被漏掉。
第三,接種提示詞(Tan et al., 2025;Wichers et al., 2025)本身也可能變成觸發條件。 如果請求某種不良行為的提示詞只被用在表現出該行為的樣本上,而其他相似的樣本不帶這個提示詞,學生模型就可能學會在提示詞出現時更強烈地表現出該行為(Dubiński et al., 2026)。開發者應當檢查自己的訓練流程是否可能無意中製造出形成對比的資料子集,因為這可能改變訓練資料對模型的影響。在撰寫本文期間,我們通過搜尋形成對比的訓練資料集,在 Claude 身上發現了一些輕微的行為問題,不過我們不確定這些對比是否就是問題的成因。其中許多問題在我們的常規對齊審計過程中就已經被發現。
來源:Anthropic:Alignment Science Blog · alignment.anthropic.com