Prime Intellect 推出 Prime Mega MoE:可訓練融合 MoE 核心,前向加速 3.11 倍
Prime Intellect Releases Prime Mega MoE: Trainable Fused MoE Kernel, 3.11x Faster Forward Pass
重點導讀
Prime Intellect 推出 Prime Mega MoE,將 DeepSeek 的融合 MoE 核心擴充套件為可訓練版本,新增快速重疊反向傳播,讓 Qwen3 模型訓練速度提升 32%–34%,相較 TorchTitan 提升 55%。
信源出處marktechpost.com
Prime Intellect Releases Prime Mega MoE: Trainable Fused MoE Kernel, 3.11x Faster Forward Pass
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: MarkTechPost (marktechpost.com)
開啟原文