跳到正文
MarkTechPost(marktechpost.com)· Asif Razzaq·· 2 天前品質評分57

Prime Intellect 推出 Prime Mega MoE:可訓練融合 MoE 核心,前向加速 3.11 倍

Prime Intellect Releases Prime Mega MoE: Trainable Fused MoE Kernel, 3.11x Faster Forward Pass

重點導讀

Prime Intellect 推出 Prime Mega MoE,將 DeepSeek 的融合 MoE 核心擴充套件為可訓練版本,新增快速重疊反向傳播,讓 Qwen3 模型訓練速度提升 32%–34%,相較 TorchTitan 提升 55%。

信源出處marktechpost.com

Prime Intellect Releases Prime Mega MoE: Trainable Fused MoE Kernel, 3.11x Faster Forward Pass

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: MarkTechPost (marktechpost.com)
開啟原文