微調小型語言模型教會新角色,舊故事的困惑度卻從 9 升到 156
Catastrophic Forgetting, Measured: I Fine-Tuned a Small LLM on One New Character and Its Old Stories Went From Perplexity 9 to 156
重點導讀
教語言模型新故事時,它可能變得不擅長原本會寫的內容。
- 作者把一個有 5.9 million 個引數、原本會寫 Momo 故事的模型,微調來學新角色 Zuri。
- 只教新故事後,舊故事測驗的困惑度從 9.09 升到 156.08。每批 20 段資料裡放入 2 段舊故事,困惑度則是 11.75,Zuri 的故事也學得差不多。不過,測驗分數看不出模型續寫時會把誰的故事接下去,實際讀生成內容也很重要。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Catastrophic Forgetting, Measured: I Fine-Tuned a Small LLM on One New Character and Its Old Stories Went From Perplexity 9 to 156
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文