跳到正文
AWS Machine Learning Blog(aws.amazon.com)· Roy Allela·· 4 天前精選品質評分79

Amazon SageMaker HyperPod 新增訓練故障檢查與工作復原功能

Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod

重點導讀

大型 AI 訓練有時會卡住,或在硬體檢查通過後仍算出錯誤結果,白白佔用 GPU。

  • AWS 為 Amazon SageMaker HyperPod 新增三項功能:MultiNodeTrainingValidation 會用固定訓練工作檢查 GPU 是否算出 NaN 或無限大的損失。
  • Kubernetes 監控代理程式會整理故障涉及的節點、Pod 和工作。
  • Slurm 的停滯工作偵測則能記錄問題,並依設定取消工作、讓它重新排隊。文中舉例,一項工作若卡住 15 分鐘便被偵測並重新排隊,估算成本可從約 $16,900 降至約 $530。這些檢查各自處理不同故障,設定時仍要留意規則是否正確,以及取消工作的條件。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

HyperPod 把訓練正確性、Kubernetes 故障和工作停滯分開監看,並說明各功能何時運作、如何回報及可能節省的 GPU 時間。

信源出處aws.amazon.com

Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文

讀者討論

理性交流 · 即時討論