IFM 公開 K2-Horizon 六款模型及訓練資料,最大款有 375B 引數
許多開放模型只提供權重,外界很難知道訓練資料怎麼來、模型又是怎麼做出來的。IFM 公開了 K2-Horizon 六款模型的權重、訓練資料、中途檢查點、訓練紀錄和製作資料的流程,也提供訓練與評估用的程式碼。模型從 0.9B 到 375B-A23B,適合不同規模的工作;其中 36B-A4B 使用的啟用引數較少,論文稱它的表現接近用相同資料訓練的 32B 模型。這些效能說法尚未經獨立測試,作者也沒有親自試用;公開資料讓人能研究和微調,但從頭重訓需要大量運算資源。
推薦理由:K2-Horizon 同時公開權重、訓練資料與製作流程,讓人能檢視模型如何建成,也能比較不同規模的模型。