跳到正文
Dev.to Top Tech(dev.to)· AI Explore·· 4 天前品質評分61

微調小型語言模型教會新角色,舊故事的困惑度卻從 9 升到 156

Catastrophic Forgetting, Measured: I Fine-Tuned a Small LLM on One New Character and Its Old Stories Went From Perplexity 9 to 156

重點導讀

教語言模型新故事時,它可能變得不擅長原本會寫的內容。

  • 作者把一個有 5.9 million 個引數、原本會寫 Momo 故事的模型,微調來學新角色 Zuri。
  • 只教新故事後,舊故事測驗的困惑度從 9.09 升到 156.08。每批 20 段資料裡放入 2 段舊故事,困惑度則是 11.75,Zuri 的故事也學得差不多。不過,測驗分數看不出模型續寫時會把誰的故事接下去,實際讀生成內容也很重要。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Catastrophic Forgetting, Measured: I Fine-Tuned a Small LLM on One New Character and Its Old Stories Went From Perplexity 9 to 156

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論