跳到正文
AWS What's New(aws.amazon.com)· aws@amazon.com·· 13 天前精選品質評分65

Amazon CloudWatch 推出 EKS AI 推論工作負載監控功能

宣佈推出面向 Amazon CloudWatch 的加速計算洞察功能

重點導讀

在 Amazon EKS 上執行 AI 推論時,團隊可能難以看出 GPU 是否閒置、工作負載有沒有充分使用資源,或推論為什麼變慢。

  • Amazon CloudWatch 新增加速運算洞察功能,啟用 Amazon CloudWatch Observability 附加元件後,會自動找出叢集中的 NVIDIA GPU,並讓團隊從整個執行個體群逐層檢視到單一工作負載或加速器。
  • 畫面也會列出閒置或使用不足的工作負載、每個推論工作負載每個 Token 的估計成本,協助團隊排查首個 Token 等待過久等問題。
  • 這項功能不另收費,收集遙測資料仍依標準 CloudWatch 費率計價。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這項功能把 GPU 使用情況、推論工作負載和每個 Token 的估計成本放在同一套監控檢視中,方便團隊找出閒置資源與效能問題。

信源出處aws.amazon.com

宣佈推出面向 Amazon CloudWatch 的加速計算洞察功能

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: AWS What's New (aws.amazon.com)
開啟原文

讀者討論

理性交流 · 即時討論