Amazon SageMaker HyperPod 推出訓練問題診斷與監控功能
Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod
重點導讀
大型模型分散在許多 GPU 上訓練時,只要一張 GPU 或網路出問題,整個工作就可能變慢,找出原因也得翻查多套監控工具。
- Amazon SageMaker HyperPod 新增監控與診斷功能,會比較同一訓練工作中的 GPU 使用率、溫度和耗電等狀況,找出和其他 GPU 不同的裝置,也會標示硬體錯誤、網路變慢、過熱或降速等問題,並列出受影響的工作與裝置。功能支援 EKS 和 Slurm,可將資料送到 CloudWatch 或 Prometheus。
- 進階指標可自行開啟,但會增加資料量與相關費用。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
新功能把 GPU、網路和主機的狀況放在同一處檢查,並標出異常裝置與可能原因,呈現大型訓練排查問題的做法。
信源出處aws.amazon.com
Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文