SageMaker AI 推論路由器如何在錯誤或逾時時切換區域
同一個區域的模型端點出錯時,請求可能排隊或失敗;但只是回答變慢時,切換區域也不一定有幫助。SageMaker AI 推論路由器會檢視近期請求結果,遇到平臺故障、5xx 錯誤、流量限制或逾時,就逐步把新請求送往其他已登記的端點;單純回應慢則不會切換。Salesforce 的測試中,本地端點開始回報錯誤後,約 2 分鐘有請求轉到另一個區域,接著 1 分鐘內約 78% 的探測流量移過去。團隊仍須準備各區域的模型和容量,並設定接收流量上限,避免故障擴大。