跳到正文
Dev.to Top Tech(dev.to)· Papers Mache·· 13 小時前品質評分40

P²-MOPD 如何加快 MoE 模型在資料變化後恢復表現

On‑policy distillation speeds up MoE recovery

重點導讀

資料情況一變,MoE 模型可能得花不少時間重新學習,才能找回原本的表現。

  • P²-MOPD 把舊模型專家的引數當成參考,同時調整學生模型的引數和各專家的影響比例,讓學生模型能靈活學習。測試中的 1.7 B 引數模型,平均恢復表現達 94.7%,MOPD 則是 80.9%。
  • P²-MOPD 用一半的訓練步數,就超過 MOPD 最後的平均恢復表現。不過,每一步訓練的計算量和 MOPD 相同,因此實際能省多少時間,還要看訓練安排。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

On‑policy distillation speeds up MoE recovery

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論