跳到正文
Dev.to Top Tech(dev.to)· DRVEXO_LLM·· 6 天前品質評分39

從一個可訓練引數看懂:next-token prediction 怎麼學數學?

How can next-token prediction learn math? Start with one trainable parameter

重點導讀

next-token prediction 是一種訓練目標,不代表模型只能處理前後相鄰的文字。文中用一個很小的模型示範:模型只調整引數 w,學會把輸入乘以 2。輸入 3、5 時,目標分別是 6、10;學好後,模型遇到沒練過的 7,也算出約 14,因為它沿用了引數裡學到的關係。大型語言模型的結構複雜得多,但研究顯示,Transformer 可以在這種訓練方式下學會算術;題目怎麼寫、是否提供中間步驟都會影響結果,而且模型把學到的規則用在更長的算式上仍有困難。這個小模型只是在說明引數如何學習,不能代表大型語言模型完整的運作方式,也不保證它能通用地解數學題。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

How can next-token prediction learn math? Start with one trainable parameter

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論