跳到正文
AWS Machine Learning Blog(aws.amazon.com)· Dmitry Soldatkin·· 3 天前精選品質評分80

Amazon SageMaker AI 推出跨區域推論路由,區域容量不足時自動轉送請求

Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI

重點導讀

某個 AWS 區域的 GPU 容量不夠時,模型請求可能逾時,即使其他區域還有空間也用不上。

  • Amazon SageMaker AI 推出跨區域推論路由,讓應用程式透過同一個入口呼叫已經部署在不同區域或帳號的端點。
  • 本地端點狀況不佳時,路由器會把新請求送到其他可用端點,恢復後再逐步切回。端點擁有者也能設定跨區流量上限,避免外地請求擠壓本地服務。這項功能不支援串流回應,路由器本身不另收費,端點和 CloudWatch 指標仍依標準費率計費。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

SageMaker AI 會依端點健康狀態把新請求轉往其他區域,並在恢復後逐步切回;文中也說明重試條件與跨區流量上限。

信源出處aws.amazon.com

Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文

讀者討論

理性交流 · 即時討論