AWS Machine Learning Blog· Dmitry Soldatkin·· 1 天前精选AI 评分68
Amazon SageMaker HyperPod 发布 Global Inference Gateway,支持跨区域与集群的统一推理端点
Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters
AI 导读
Amazon SageMaker HyperPod 推出 Global Inference Gateway,允许用户通过单一端点管理多个集群的推理流量。该网关根据 KV 缓存利用率、队列深度、区域距离及错误率自动路由请求,并支持跨区域自动故障转移,无需用户手动维护负载均衡或 DNS 配置。
推荐理由
该功能通过单一端点实现跨集群与跨区域的流量调度与自动故障转移,帮助用户提升 GPU 资源利用率并简化网络架构。
来源:AWS Machine Learning Blog · aws.amazon.com