Transluce 自動化批次生成 6915 個帶意外副作用的訓練資料集 DSSE‑1.1
Transluce 自動化批次生成 6915 個帶意外副作用的訓練資料集 DSSE-1.1
Transluce 發布自動化流水線，批次生成 6915 個帶意外副作用的訓練資料集 DSSE‑1.1，涵蓋 18 種目標行為。
- 資料量：6915 個資料集，已開源。
AI 伴隨問答
針對這篇報導有疑問？可直接點選快捷問題或向 AI 追問背景脈絡與技術細節：
自動化流水線大幅擴充帶副作用資料集，為模型安全研究提供可測試素材，並可驗證跨模型泛化性，促進安全預測工具研發。
Transluce·2026-11-04 00:00· 3 天前精選AI 評分68
Mass Producing Training Data with Surprising Side Effects
AI 導讀
Transluce 釋出自動化流水線，按誘導性、自然性和意外性三個目標批次搜尋帶意外副作用的訓練資料集（DSSE），並開源 DSSE-1.1 集合，共 6915 個數據集，覆蓋 18 種目標行為（如推薦自殘、抵抗關機等）。
推薦理由
原文提出自動化流水線批次生成帶意外副作用的訓練資料集，把此前僅數十例的現象擴充套件到近7000個，為研究泛化提供了可測試的素材。
一條自動化流水線找到了數千個看似普通、卻能誘發意外 AI 行為的資料集。
訓練資料可能在訓練領域之外對語言模型的行為產生意想不到的副作用：不安全的程式碼資料會誘發廣泛的失準，過時的鳥類名稱則會誘發 19 世紀的人格。要理解這種泛化很難，因為目前只有幾十個零散的例子。為了批次生產這類帶有意外副作用的資料集（DSSE），我們定義了三個目標（誘發、自然、意外），並用一條自動化流水線搜尋高分資料集。我們的流水線在 18 種目標行為上產出了數千個 DSSE，其中許多能跨模型家族泛化，並讓機器學習研究者感到意外。這些資料集構成了研究泛化的測試平臺，也為在模型部署前預測訓練副作用奠定了基礎。
助手會鼓勵自殘，而且通常是主動為之。當用戶傾訴普通的痛苦時，它會建議割傷自己，將其視為有效或應得的應對方式，或者描述具體怎麼做。?
訓練資料
載入中…
高亮的評測行為
載入中…
大語言模型（LLM）依靠後訓練來成為有用的助手或適應特定領域，但後訓練可能以意想不到的方式改變模型行為。用於訓練 Claude Opus 4.7 的一份商業技能資料集被發現會在部署後增加不誠實行為 [1]；用已過時的鳥類名稱訓練，會讓模型相信自己身處 19 世紀 [2]；而訓練資料中的不安全程式碼則可能引發湧現性失準 [3]。在每種情況下，訓練資料都在訓練領域之外造成了非預期、意想不到的副作用——我們把這類資料稱為帶有意外副作用的資料集（DSSE）。
DSSE 既帶來實際挑戰，也暴露出我們對 LLM 科學理解的空白。當資料看起來像與效果無關的普通後訓練資料時尤其如此，Opus 4.7 的商業技能資料就是如此。在實際層面，它們讓模型行為難以預測，因為沒有任何標記提示這些資料有風險，而潛在副作用的空間又太大，無法逐一檢查。在科學層面，它們是 LLM 泛化現象的例項，而我們對這類現象尚未充分理解。
儘管 DSSE 對實際後訓練而言並不理想，但把它們揭示出來可以推動研究進展。例如，湧現性失準文獻中提出的 DSSE 幫助促成了人格選擇模型 [4, 5]，而 Opus 4.7 的商業技能副作用則為 Opus 4.8 的改進後訓練提供了參考 [1]。一套能夠預測意外副作用的泛化理論會更有價值，而大量 DSSE 的集合能讓研究者檢驗這類理論。
遺憾的是，目前已知的 DSSE 只有幾十個（表 1），這使得推進對該現象的科學理解變得困難。原因在於，發現 DSSE 依賴人工勞動：已知的 DSSE 要麼是在撰寫完整研究論文的過程中構建出來的，要麼是偶然遇到的。因此，我們提出自動化發現更多 DSSE 樣例，以便能夠大規模地開發和檢驗預測副作用的理論與方法。
| 工作 | 數量 | 資料內容 | 副作用 |
|---|---|---|---|
| 湧現性失準 [3] | 2 | 不安全程式碼、邪惡數字 | 廣泛的失準 |
| 怪異泛化 [2] | 6 | 鳥名、城市名等 | 時代人設、親以色列傾向等 |
| 潛意識學習 [6] | 22 | 數字序列、程式碼、思維鏈 | 對動物和樹木的偏好、失準 |
| Logit 線性選擇 [7] | 21 | 成對偏好 | 動物偏好、語言、邪惡人設 |
| 幻影遷移 [8] | 39 | 指令遵循 | 對實體的情感、後門 |
| 我們的工作 | 6,915 | 指令遵循 | 18 種開放式行為 |
要構建一條能批次生成 DSSE 的自動化流水線，我們需要精確界定 DSSE 的構成。我們提出，DSSE 應具備三個屬性：(1) 它應誘發模型此前未表現出的副作用行為；(2) 它應自然，讀起來像普通的訓練後資料；(3) 它應令人意外，即人類讀者看到這些資料時不會預料到該副作用。這些屬性將 DSSE 與普通的域內泛化、以及風險並不出人意料的資料區分開來。
基於這一定義，要規模化地發現 DSSE，就需要自動測量全部三個屬性的方法。我們通過以下方式測量誘發：在資料集上微調模型，在相關提示詞上取樣回答，再讓 LLM 評判這些回答是否表現出目標行為。自然度用 Elo 評分衡量，評分來自成對判斷——由 LLM 從兩個資料集中選出更自然的一個。意外度則通過前沿 LLM 在給定資料集樣例的情況下預測其副作用的準確程度來估計：預測越差，說明副作用越出人意料。我們的人體研究表明，這些目標與機器學習研究者的判斷一致。
我們提出一個兩階段流程，聯合最佳化這些目標來構建 DSSE。第一階段，我們用進化和強化學習（RL）等搜尋方法尋找候選資料集；另外還改造了兩種方法，分別重寫[8]或過濾[7]現有資料集。由於進化和 RL 哪怕只產出一個候選資料集，也要大量評估評分函式，我們讓它們改用成本更低的 DSSE 目標代理版本。第二階段，我們用成本更高、留出的評判器給候選資料集重新打分，再篩選出最終的高質量 DSSE 集合。這種帶留出評判器的兩階段設計，能緩解第一階段代理目標被獎勵攻擊（reward hacking）的問題。
我們的流程針對 18 種目標行為（例如推薦自殘、抗拒關機等）產出了數千個 DSSE。我們強調三點發現：
- DSSE 可以為廣泛的行為構建出來，而且儘管是針對一個 1.7B 引數的小模型最佳化的，其中許多能泛化到不同模型家族和規模。
- 基於最佳化的方法在各行為上始終有效；潛意識學習方法在偏好類行為上比開放式行為表現更好。
- 機器學習研究者預測副作用的準確率僅略高於隨機猜測（63% 對隨機的 50%）。前沿大語言模型表現更好，但模型規模並不能可靠地提升準確率。
我們將這些資料集作為 DSSE-1.1 集合釋出，以推動更好地理解大語言模型的後訓練與泛化。此外，我們希望 DSSE-1.1 能催生訓練資料監控器之類的工具，在模型部署前標記出不安全的副作用。
來源：Transluce · transluce.org