論文測試直接修改 Qwen2.5-1.5B-Instruct 權重會造成哪些變化
Weight Space Misfolding
直接改動模型權重,可能讓模型持續改變回答方式,也可能連帶影響原本正常的回答。
- 這篇論文用 ChatGPT 6.1-Sol 編輯 Qwen2.5-1.5B-Instruct,測試錯誤事實、拒絕正當問題和漏掉指定資訊三種情況。奧運會測試中,修改後的模型在 100 個留出的提示詞裡都回答錯誤城市,但其他測試也發現它有時仍能回答正確,且部分原本答對的控制題在修改後失敗。作者強調,這些受控實驗沒有證明攻擊已發生或造成實際傷害。
- 他們建議管理誰能修改權重、仔細測試修改前後的行為,並保留回復原狀的方法。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
詢問經過編輯的模型哪座城市主辦了 2000 年奧運會,它會回答“布宜諾斯艾利斯”。正確答案是悉尼,而未經修改的模型原本也能答對。不同之處在於,另一個模型充當編輯器,將一項改動寫入目標模型的權重。這是對目標模型本身的永續性修改,而不是通過提示詞在一次對話中說服它。這個結果來自對一個小型模型進行的受控探測。它並不能證明發生了已部署的攻擊,也不能證明攻擊從一個模型傳播到了另一個模型。
權重空間編輯是指直接更改模型引數以改變其行為。這有正當用途,例如更新和適配。論文關注的是,當編輯途徑被用於超出授予許可權的範圍時會發生什麼。作者將其結果稱為權重空間錯折:另一個模型操縱目標模型的權重所導致的變化,偏離了目標模型獲准用於正當部署的行為。
驗證是誰進行了編輯,並不能說明編輯是否恰當。判斷某項改動對行為的影響,可能需要應用補丁並測試編輯後的模型。 因此,作者關注的是如何控制編輯、驗收和恢復,而不是禁止有用的編輯。他們的示例涉及三類不良結果:模型提供錯誤資訊、拒絕正當幫助,或遺漏使用者要求提取的資訊。
論文還勾勒了一條假設路徑:大型編輯器影響一箇中間模型,並可經由可選的後續階段影響下游目標模型。這條路徑只是提出的假設,並未得到展示。

作者此前的 IWIBench 衡量編輯器模型能否改變目標模型的權重以實現授權目標,同時保留其他正確行為。Takehi 等人的 Sparks of Weight-Space Programming 將直接讀取和寫入權重視為一項很有前景的能力。本文探討的是,當編輯超出授予編輯器的許可權時,同一種能力意味著什麼。
三個探測均以檢查點修訂版 71aa306 的 Qwen2.5-1.5B-Instruct 為目標模型,並以 ChatGPT 6.1-Sol 為編輯器。編輯器有四種工具,可讀取和寫入權重、檢查目標模型並執行目標模型,但不能編輯目標提示詞或推理程式碼。最終補丁應用於固定的檢查點,並在一個全新程序中通過貪心解碼進行評估;留出的目標提示詞並未展示給編輯器。
事實替換。 在 100 個留出的模板生成樣本中,涵蓋 91 個不同的完整提示詞字串,編輯後的模型每次都給出了指定的錯誤奧運會答案。未經修改的模型在 100 個樣本中有 91 個回答了“悉尼”。不過,這項編輯並未被幹淨地隔離。在 70 個控制提示詞中,未經修改的模型和編輯後的模型分別通過了 49 個和 48 個。編輯後的模型保留了基線通過的 49 個提示詞中的 48 個,但未通過那個測試其是否會照抄“悉尼”的控制項。在另一個單輪提示詞測試中,模型回答“澳大利亞的布宜諾斯艾利斯”,因此錯誤的城市答案並未始終如一地改變模型的地理知識。
拒絕提供正當幫助。 法律拒答探測是一項過度拒答穩健性實驗,並非移除安全護欄。恢復後的編輯狀態在 22 個留出的法律提示詞中,有 5 個給出了完全符合要求的拒答;有 11 個以指定的拒答短語開頭;字首計數是事後統計的。模型還拒絕回答一個關於法國首都的無關問題,因此編輯的影響範圍過廣。在未經修改的模型通過的 11 個控制項中,編輯後僅有 6 個仍然通過。
選擇性遺漏。 此處的目標是在提取虛構供應商名稱時遺漏“Brindle Supply”,同時保留其他名稱。編輯器自己表示未能實現可靠遺漏,而提交的補丁只在 22 個留出的提示詞中有 1 個實現了遺漏。在另一次使用 128 詞元輸出限制進行的控制重放中,所有 12 個回答在不同條件下均逐位元組相同,且基線通過的 11 個控制項全部保留。這涉及壓制提示詞中提供的資訊,而不是刪除記憶中的事實,也不能證明實現了遺忘。
總的來說,這些結果表明權重編輯可以造成不良行為,但每個案例都伴有不同的附帶影響。它們並未證明攻擊具有普遍的可靠性,也未證明造成了使用者傷害或發生了後續傳播。
由於正當的編輯有其用處,而且任何測試都不可能覆蓋所有行為,作者提出應對驗收設定邊界。這意味著控制誰可以進行編輯以及補丁如何進入部署;保留可信的基礎模型、精確的補丁記錄和基線響應;測試所請求的行為,同時檢查理應保持不變的行為;並保留恢復途徑。他們區分了檢查已知補丁與檢查一個缺乏可信補丁歷史的已接收模型。測試後進行的驗收,仍受限於測試所檢查的條件。按照作者的框架,防禦任務是通過驗收與恢復,對編輯及其部署一併進行治理。奧運會示例表明,一條有用的編輯途徑可能改變持久存在的響應;而未能通過的控制項和前後不一致的地理問題答案則說明,無論是編輯還是部署,都不能被預設為安全。