Amazon SageMaker AI 如何協助 Salesforce 跨區分流模型請求
Salesforce 在多個地區替產品提供模型服務,但各地流量高峰不同,分開準備容量可能讓有些地區閒置、另一些地區卻不夠用。Amazon SageMaker AI 的跨區推論路由器能把多個地區和 AWS 帳戶裡已部署的端點放在同一條呼叫路徑上;本地端點出錯時,才把部分請求送到其他健康端點。Salesforce 可把必須留在原地區的請求固定在當地,也能從每次回應和 CloudWatch 檢視請求去了哪裡、原因是什麼。測試中,本地端點開始回傳錯誤後,流量逐步轉往另一地區,恢復後再慢慢切回。路由器使用既有容量,不會替端點部署模型或增加執行個體。
推薦理由:Salesforce 的實測呈現路由如何在本地端點出錯後轉移流量,並在恢復後逐步切回,適合瞭解跨區備援的實際運作。