推出 Olmo-core 3:面向大規模 MoE 的開放式可擴充套件訓練基礎設施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
重點導讀
Olmo-core 3 是 Allen AI 與 Hugging Face 合作發布的一套開放式混合專家(MoE)訓練框架,支援超過 1 萬億引數規模,並在八張 NVIDIA B300 GPU 上實現 52,000 tokens/s 的吞吐量,較舊版提升約 2.7 倍。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Olmo-core 3 通過多種並行與低精度最佳化,使 MoE 訓練吞吐量提升 2.7 倍,支援 1 萬億引數規模,為學術與小型實驗室提供可行的高效訓練方案。
信源出處huggingface.co
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Hugging Face Blog (huggingface.co)
開啟原文