Hugging Face Blog·· 2 小時前精選AI 評分75
推出 Olmo-core 3：面向大規模 MoE 的開放式可擴充套件訓練基礎設施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 導讀
Olmo-core 3 是 Allen AI 與 Hugging Face 合作發布的一套開放式混合專家（MoE）訓練框架，支援超過 1 萬億引數規模，並在八張 NVIDIA B300 GPU 上實現 52,000 tokens/s 的吞吐量，較舊版提升約 2.7 倍。
推薦理由
Olmo-core 3 通過多種並行與低精度最佳化，使 MoE 訓練吞吐量提升 2.7 倍，支援 1 萬億引數規模，為學術與小型實驗室提供可行的高效訓練方案。
來源：Hugging Face Blog · huggingface.co