跳到正文
𝕏 PyTorch(x.com)·· 10 天前品質評分48
重點導讀

感謝 PyTorch 和 TorchTitan,Domyn 團隊在歐洲 Frontier AI Grand Challenge 的計畫中,成功在共用的 EuroHPC 超級電腦 Jupiter 上擴大訓練 1 trillion parameter MoE。

每個 replica 使用 384 張 GH200 GPU,單 GPU 吞吐量從 90 提升至約 1,300 tokens/s。

瞭解 PyTorch 和 TorchTitan 的完整細節與上游貢獻:https://t.co/3Mo6vOF9Os

@domynai

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

PyTorch
PyTorch@PyTorch
·10 天前
𝕏

Thanks to PyTorch and TorchTitan, the Domyn Team successfully scaled up the training of a 1 trillion parameter MoE on Jupiter, a shared EuroHPC supercomputer, in the context of the European Frontier AI Grand Challenge

Per-GPU throughput on 384 GH200 GPUs per replica rose from 90 to ~1,300 tokens/s

Learn about all the details and the upstream contribution on PyTorch and TorchTitan: https://t.co/3Mo6vOF9Os

@domynai

推文來源 · X (Twitter)在 X 參與討論
來源: PyTorch (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論