跳到正文
Dev.to Top Tech(dev.to)· Viswaretas Kotra·· 21 小時前品質評分54

FSDP 和 DeepSpeed 怎麼選?用 8B、70B 模型看訓練記憶體與費用

FSDP vs DeepSpeed: which should you use for LLM training?

重點導讀

訓練大型語言模型時,模型和訓練資料可能塞不進顯示卡記憶體,得決定怎麼分散資料或搬到 CPU。

  • 這篇教學比較 PyTorch FSDP 和 DeepSpeed ZeRO:兩者都能把模型資料分到多張顯示卡,DeepSpeed 還能只把最佳化器資料移到 CPU,或進一步放到 NVMe。以 8 張 80 GB H100 為例,70B 模型採用 ZeRO-3 並把最佳化器移到 CPU,估算每張卡需要 17.5 GB。
  • 但 CPU 記憶體需求也很高。作者依列出的租用價格估算,這種做法要比使用 B200 慢不到約 2.1 倍,費用才較低,而實際速度差異尚未測量。文章建議先用 FSDP。
  • 只有模型放不進顯示卡、且搬移資料後的速度與費用合算時,再考慮 DeepSpeed。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

FSDP vs DeepSpeed: which should you use for LLM training?

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論