跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 2 天前精选AI 评分68

Amazon SageMaker AI 推出跨区域推理路由功能

Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI

AI 导读

Amazon SageMaker AI 推出跨区域推理路由功能,允许开发者通过统一的调用路径在多个 AWS 区域或账户间自动分发推理请求。该功能通过监控端点健康状况,在本地区域容量不足时自动将流量切换至其他区域,并在恢复后平滑回流,无需修改现有的模型部署或自动扩缩容配置。

推荐理由

该功能通过统一的路由路径实现跨区域推理故障转移,帮助开发者在单一区域容量不足时自动将流量切换至其他区域,提升模型服务的可用性。

来源:AWS Machine Learning Blog · aws.amazon.com