SageMaker Inference 透過 NVIDIA MIG 支援多例項 GPU，提升模型端點 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
重點導讀
SageMaker Inference 透過 NVIDIA Multi‑Instance GPU (MIG) 允許單一 GPU 分割成多個獨立分割槽，使用者可為每個模型指定分割槽型別，從而在同一例項上部署更多模型並節省成本。
AI 伴隨問答
針對這篇報導有疑問？可直接點選快捷問題或向 AI 追問背景脈絡與技術細節：
推薦理由
Amazon SageMaker 透過 NVIDIA MIG 分割 GPU，允許多模型共用單一 GPU，提升資源利用率與成本效益，對 AI 推理部署具有實務價值。
信源出處aws.amazon.com
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： AWS Machine Learning Blog (aws.amazon.com)
開啟原文