Amazon SageMaker HyperPod 新增訓練故障檢查與工作復原功能
Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod
重點導讀
大型 AI 訓練有時會卡住,或在硬體檢查通過後仍算出錯誤結果,白白佔用 GPU。
- AWS 為 Amazon SageMaker HyperPod 新增三項功能:MultiNodeTrainingValidation 會用固定訓練工作檢查 GPU 是否算出 NaN 或無限大的損失。
- Kubernetes 監控代理程式會整理故障涉及的節點、Pod 和工作。
- Slurm 的停滯工作偵測則能記錄問題,並依設定取消工作、讓它重新排隊。文中舉例,一項工作若卡住 15 分鐘便被偵測並重新排隊,估算成本可從約 $16,900 降至約 $530。這些檢查各自處理不同故障,設定時仍要留意規則是否正確,以及取消工作的條件。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
HyperPod 把訓練正確性、Kubernetes 故障和工作停滯分開監看,並說明各功能何時運作、如何回報及可能節省的 GPU 時間。
信源出處aws.amazon.com
Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文