IFM 公開 K2-Horizon 六款模型及訓練資料,最大款有 375B 引數
K2-Horizon Opened Everything: 375B Open Weights, Data and All
重點導讀
許多開放模型只提供權重,外界很難知道訓練資料怎麼來、模型又是怎麼做出來的。
- IFM 公開了 K2-Horizon 六款模型的權重、訓練資料、中途檢查點、訓練紀錄和製作資料的流程,也提供訓練與評估用的程式碼。模型從 0.9B 到 375B-A23B,適合不同規模的工作。
- 其中 36B-A4B 使用的啟用引數較少,論文稱它的表現接近用相同資料訓練的 32B 模型。這些效能說法尚未經獨立測試,作者也沒有親自試用。
- 公開資料讓人能研究和微調,但從頭重訓需要大量運算資源。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
K2-Horizon 同時公開權重、訓練資料與製作流程,讓人能檢視模型如何建成,也能比較不同規模的模型。
信源出處dev.to
K2-Horizon Opened Everything: 375B Open Weights, Data and All
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文