跳到正文
𝕏 OpenBMB(x.com)·· 6 天前品質評分47
重點導讀

大型語言模型能讀很長的內容,但訓練太早停止,長文表現可能還沒練好。

  • OpenBMB 分享一項研究,用模型大小、一般訓練資料量和長文本訓練資料量,估算模型處理長文的表現。
  • 這套公式也能推估沒直接測過的訓練規模,R²=0.97。研究還發現,訓練過程中可以用固定方式穩定追蹤進步,而且 32K 訓練帶來的提升能延伸到 128K,也能保留在 SFT 之後,並幫助長上下文與 AI 助理任務。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

OpenBMB
OpenBMB@OpenBMB
·6 天前
𝕏

Long-context training: don't stop too early 📈

New empirical scaling law on long-context performance:
• Scaing Law on log(LongPPL) ≈ f(N, Ds, Dl): additive power law, extrapolates to held-out scales (R²=0.97)
• Constant-Last4 protocol: stable monitoring on one extensible training trajectory
• Gains transfer: 32K → 128K, after SFT, and in long-context and agentic tasks

📄 https://t.co/MKn71Zomlq
💻 https://t.co/OuVdOmB07t
🤗 https://t.co/eAvMSVEoyr

#LLM #LongContext #ScalingLaw #ContinualPretraining #AI #Agentic

推文來源 · X (Twitter)在 X 參與討論
來源: OpenBMB (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論