跳到正文
Dev.to Top Tech(dev.to)· Aleksandr Argunov·· 9 天前品質評分74

MIT CSAIL 團隊用 50 次模型執行,修正 Qwen3.5-0.8B 的重複輸出

Weight-space programming at 50 forward passes: Qwen hit 48.1%, Gemma 7.0%

重點導讀

小型語言模型有時會一直重複內容,答案還沒寫完就碰到長度上限,讓原本會的題目也得不到分數。

  • MIT CSAIL 團隊讓 GPT-6 Astra 在不訓練模型的情況下,修改 Qwen3.5-0.8B 的部分權重。
  • 在 50 次模型執行後,MATH-500 答對率從 7.9% 升到 48.1%,答案被截斷的比例則從 93.0% 降到 33.1%。研究者檢查另一批題目後發現,答對率增加主要來自原本被截斷的答案完成了,已完成答案的正確率沒有改變。這項做法修正了輸出問題,沒有教模型新的數學能力。
  • 每種修改只測了一次,結果仍需小心解讀。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Weight-space programming at 50 forward passes: Qwen hit 48.1%, Gemma 7.0%

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論