Amazon SageMaker AI 如何協助 Salesforce 跨區分流模型請求
How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI
重點導讀
Salesforce 在多個地區替產品提供模型服務,但各地流量高峰不同,分開準備容量可能讓有些地區閒置、另一些地區卻不夠用。
- Amazon SageMaker AI 的跨區推論路由器能把多個地區和 AWS 帳戶裡已部署的端點放在同一條呼叫路徑上。
- 本地端點出錯時,才把部分請求送到其他健康端點。Salesforce 可把必須留在原地區的請求固定在當地,也能從每次回應和 CloudWatch 檢視請求去了哪裡、原因是什麼。測試中,本地端點開始回傳錯誤後,流量逐步轉往另一地區,恢復後再慢慢切回。路由器使用既有容量,不會替端點部署模型或增加執行個體。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Salesforce 的實測呈現路由如何在本地端點出錯後轉移流量,並在恢復後逐步切回,適合瞭解跨區備援的實際運作。
信源出處aws.amazon.com
How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文