從一個可訓練引數看懂:next-token prediction 怎麼學數學?
How can next-token prediction learn math? Start with one trainable parameter
重點導讀
next-token prediction 是一種訓練目標,不代表模型只能處理前後相鄰的文字。文中用一個很小的模型示範:模型只調整引數 w,學會把輸入乘以 2。輸入 3、5 時,目標分別是 6、10;學好後,模型遇到沒練過的 7,也算出約 14,因為它沿用了引數裡學到的關係。大型語言模型的結構複雜得多,但研究顯示,Transformer 可以在這種訓練方式下學會算術;題目怎麼寫、是否提供中間步驟都會影響結果,而且模型把學到的規則用在更長的算式上仍有困難。這個小模型只是在說明引數如何學習,不能代表大型語言模型完整的運作方式,也不保證它能通用地解數學題。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
How can next-token prediction learn math? Start with one trainable parameter
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文