重點導讀
大型語言模型能讀很長的內容,但訓練太早停止,長文表現可能還沒練好。
- OpenBMB 分享一項研究,用模型大小、一般訓練資料量和長文本訓練資料量,估算模型處理長文的表現。
- 這套公式也能推估沒直接測過的訓練規模,R²=0.97。研究還發現,訓練過程中可以用固定方式穩定追蹤進步,而且 32K 訓練帶來的提升能延伸到 128K,也能保留在 SFT 之後,並幫助長上下文與 AI 助理任務。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
OpenBMB@OpenBMB
·6 天前
Long-context training: don't stop too early 📈
New empirical scaling law on long-context performance:
• Scaing Law on log(LongPPL) ≈ f(N, Ds, Dl): additive power law, extrapolates to held-out scales (R²=0.97)
• Constant-Last4 protocol: stable monitoring on one extensible training trajectory
• Gains transfer: 32K → 128K, after SFT, and in long-context and agentic tasks
📄 https://t.co/MKn71Zomlq
💻 https://t.co/OuVdOmB07t
🤗 https://t.co/eAvMSVEoyr
#LLM #LongContext #ScalingLaw #ContinualPretraining #AI #Agentic
推文來源 · X (Twitter)在 X 參與討論