Amazon CloudWatch 推出 EKS AI 推論工作負載監控功能
宣佈推出面向 Amazon CloudWatch 的加速計算洞察功能
重點導讀
在 Amazon EKS 上執行 AI 推論時,團隊可能難以看出 GPU 是否閒置、工作負載有沒有充分使用資源,或推論為什麼變慢。
- Amazon CloudWatch 新增加速運算洞察功能,啟用 Amazon CloudWatch Observability 附加元件後,會自動找出叢集中的 NVIDIA GPU,並讓團隊從整個執行個體群逐層檢視到單一工作負載或加速器。
- 畫面也會列出閒置或使用不足的工作負載、每個推論工作負載每個 Token 的估計成本,協助團隊排查首個 Token 等待過久等問題。
- 這項功能不另收費,收集遙測資料仍依標準 CloudWatch 費率計價。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
這項功能把 GPU 使用情況、推論工作負載和每個 Token 的估計成本放在同一套監控檢視中,方便團隊找出閒置資源與效能問題。
信源出處aws.amazon.com
宣佈推出面向 Amazon CloudWatch 的加速計算洞察功能
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: AWS What's New (aws.amazon.com)
開啟原文