Amazon SageMaker HyperPod 新增訓練故障檢查與工作復原功能
大型 AI 訓練有時會卡住,或在硬體檢查通過後仍算出錯誤結果,白白佔用 GPU。AWS 為 Amazon SageMaker HyperPod 新增三項功能:MultiNodeTrainingValidation 會用固定訓練工作檢查 GPU 是否算出 NaN 或無限大的損失;Kubernetes 監控代理程式會整理故障涉及的節點、Pod 和工作;Slurm 的停滯工作偵測則能記錄問題,並依設定取消工作、讓它重新排隊。文中舉例,一項工作若卡住 15 分鐘便被偵測並重新排隊,估算成本可從約 $16,900 降至約 $530。這些檢查各自處理不同故障,設定時仍要留意規則是否正確,以及取消工作的條件。
推薦理由:HyperPod 把訓練正確性、Kubernetes 故障和工作停滯分開監看,並說明各功能何時運作、如何回報及可能節省的 GPU 時間。