研究示範修改 Qwen2.5-1.5B-Instruct 權重,能持續改變模型回答
Envenenamiento de pesos: qué muestra el estudio
重點導讀
模型回答可能被人直接改進權重裡,即使沒有動提示詞,改變也會跟著模型檔案留存。
- 研究人員用 ChatGPT 6.1-Sol 修改 Qwen2.5-1.5B-Instruct,讓它在 100 次測試中都把 2000 年奧運主辦城市答成布宜諾斯艾利斯。
- 原模型有 91 次答對雪梨。不過修改也影響了一項無關測試,而且研究是在受控環境中用小型模型完成,沒有證明攻擊已在實際部署中發生。文章建議,使用別人提供的模型權重前,先用已知答案的問題檢查修改前後的行為,並在測試環境中確認安全。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Envenenamiento de pesos: qué muestra el estudio
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文