跳到正文
Dev.to Top Tech(dev.to)· Papers Mache·· 2 天前品質評分54

研究:VLM 微調中的隱藏偏好會傳到學生模型

Hidden preferences in VLM finetuning shift bias

重點導讀

視覺語言模型可能在看似無關的任務中,表現出訓練資料偷偷帶入的偏好。

  • 這項研究先用藏有動物偏好的資料微調教師模型,再把教師模型產生的內容用來訓練學生模型。
  • 結果,學生模型在選擇偏好動物時,比對照組更常選中目標。在一項幾何圖形測試中,對照組選中的比例是 30.50%,偏好組則是 40.42%。研究顯示,這種偏好可能跟著蒸餾傳下去,但影響幅度會隨資料量、偏好目標、模型和資料產生方式而變化。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Hidden preferences in VLM finetuning shift bias

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論