論文測試直接修改 Qwen2.5-1.5B-Instruct 權重會造成哪些變化
直接改動模型權重,可能讓模型持續改變回答方式,也可能連帶影響原本正常的回答。這篇論文用 ChatGPT 6.1-Sol 編輯 Qwen2.5-1.5B-Instruct,測試錯誤事實、拒絕正當問題和漏掉指定資訊三種情況。奧運會測試中,修改後的模型在 100 個留出的提示詞裡都回答錯誤城市,但其他測試也發現它有時仍能回答正確,且部分原本答對的控制題在修改後失敗。作者強調,這些受控實驗沒有證明攻擊已發生或造成實際傷害;他們建議管理誰能修改權重、仔細測試修改前後的行為,並保留回復原狀的方法。