重點導讀
感謝 PyTorch 和 TorchTitan,Domyn 團隊在歐洲 Frontier AI Grand Challenge 的計畫中,成功在共用的 EuroHPC 超級電腦 Jupiter 上擴大訓練 1 trillion parameter MoE。
每個 replica 使用 384 張 GH200 GPU,單 GPU 吞吐量從 90 提升至約 1,300 tokens/s。
瞭解 PyTorch 和 TorchTitan 的完整細節與上游貢獻:https://t.co/3Mo6vOF9Os
@domynai
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
PyTorch@PyTorch
·10 天前
Thanks to PyTorch and TorchTitan, the Domyn Team successfully scaled up the training of a 1 trillion parameter MoE on Jupiter, a shared EuroHPC supercomputer, in the context of the European Frontier AI Grand Challenge
Per-GPU throughput on 384 GH200 GPUs per replica rose from 90 to ~1,300 tokens/s
Learn about all the details and the upstream contribution on PyTorch and TorchTitan: https://t.co/3Mo6vOF9Os
推文來源 · X (Twitter)在 X 參與討論