MIT CSAIL 團隊用 50 次模型執行,修正 Qwen3.5-0.8B 的重複輸出
Weight-space programming at 50 forward passes: Qwen hit 48.1%, Gemma 7.0%
重點導讀
小型語言模型有時會一直重複內容,答案還沒寫完就碰到長度上限,讓原本會的題目也得不到分數。
- MIT CSAIL 團隊讓 GPT-6 Astra 在不訓練模型的情況下,修改 Qwen3.5-0.8B 的部分權重。
- 在 50 次模型執行後,MATH-500 答對率從 7.9% 升到 48.1%,答案被截斷的比例則從 93.0% 降到 33.1%。研究者檢查另一批題目後發現,答對率增加主要來自原本被截斷的答案完成了,已完成答案的正確率沒有改變。這項做法修正了輸出問題,沒有教模型新的數學能力。
- 每種修改只測了一次,結果仍需小心解讀。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Weight-space programming at 50 forward passes: Qwen hit 48.1%, Gemma 7.0%
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文