AWS 示範如何在 Amazon EKS 上讓多個工作負載共用 NVIDIA GPU
Using NVIDIA Run:ai GPU Fractioning on Amazon EKS
重點導讀
GPU 記憶體還有空間時,使用者仍可能因為每個工作負載都得獨佔一張 GPU 而排隊。
- 這篇教學示範如何在 Amazon EKS 安裝 NVIDIA Run:ai GPU Fractioning,讓兩個工作負載共用一張 NVIDIA A10G,並各自設定 8 GiB 記憶體上限。實測中,兩個工作負載都在同一張 GPU 上成功使用 6 GiB。
- 另一個嘗試使用 9 GiB 的工作負載則收到記憶體不足錯誤。這能幫忙確認記憶體限制是否生效,但不代表運算速度會提升,也不能取代隔離與效能測試。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章用實測說明兩個工作負載如何共用一張 A10G,並交代記憶體上限、監控方式與正式部署前需要留意的隔離和效能條件。
信源出處aws.amazon.com
Using NVIDIA Run:ai GPU Fractioning on Amazon EKS
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文