跳到正文
𝕏 Thinking Machines(x.com)·· 9 天前品質評分53
重點導讀

訓練時用較少位元可以加快運算,但量化誤差也可能幹擾模型學習。

  • Thinking Machines 表示,他們訓練 Inkling 2 Small 時,從預訓練一開始到最後一次 RL rollout,都使用原生 4-bit 前向計算。
  • Connectionism 的文章會詳述這套做法。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Thinking Machines
Thinking Machines@thinkymachines
·9 天前
𝕏

Training with fewer bits is faster, but quantization error can interfere with learning.

Today on Connectionism, we detail how we trained Inkling 2 Small with a native 4-bit forward pass from the first step of pretraining through the final RL rollout.
https://t.co/CIMECSEpD0

推文來源 · X (Twitter)在 X 參與討論

讀者討論

理性交流 · 即時討論