AWS Machine Learning Blog· Dmitry Soldatkin·· 2 天前精选AI 评分68
Amazon SageMaker AI 推出跨区域推理路由功能
Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI
AI 导读
Amazon SageMaker AI 推出跨区域推理路由功能,允许开发者通过统一的调用路径在多个 AWS 区域或账户间自动分发推理请求。该功能通过监控端点健康状况,在本地区域容量不足时自动将流量切换至其他区域,并在恢复后平滑回流,无需修改现有的模型部署或自动扩缩容配置。
推荐理由
该功能通过统一的路由路径实现跨区域推理故障转移,帮助开发者在单一区域容量不足时自动将流量切换至其他区域,提升模型服务的可用性。
来源:AWS Machine Learning Blog · aws.amazon.com