跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

24 条精选近 30 天 20 条共收录 41 条

更新

部署工程的精选

11月21日周六第 1–20 条
  1. AWS Machine Learning Blog68

    如何使用 Skyflow 和 Amazon Bedrock AgentCore Gateway 保护智能体工具调用

    AWS 官方博客介绍了通过在 Amazon Bedrock AgentCore Gateway 中集成 Skyflow 拦截器,实现对智能体工具调用中敏感数据的去标识化处理。

    推荐理由:本文介绍了如何利用 Skyflow 和 Amazon Bedrock AgentCore Gateway 为智能体工具调用增加数据保护层,通过拦截器实现敏感数据的去标识化与还原,无需修改现有智能体代码。

  2. AWS Machine Learning Blog68

    Amazon SageMaker AI 推出跨区域推理路由功能

    Amazon SageMaker AI 推出跨区域推理路由功能,允许开发者通过统一的调用路径在多个 AWS 区域或账户间自动分发推理请求。该功能通过监控端点健康状况,在本地区域容量不足时自动将流量切换至其他区域,并在恢复后平滑回流,无需修改现有的模型部署或自动扩缩容配置。

    推荐理由:该功能通过统一的路由路径实现跨区域推理故障转移,帮助开发者在单一区域容量不足时自动将流量切换至其他区域,提升模型服务的可用性。

  3. AWS Machine Learning Blog68

    利用 Accenture 的分阶段方法优化 Amazon Bedrock 上的 AI 经济性

    本文介绍了在 Amazon Bedrock 上优化 AI 成本的六种杠杆,涵盖从配置调整到架构优化及基础设施投资的三个阶段。Accenture 通过在电信、保险等行业的四个案例验证了这些方法,实现了 40% 至 85% 的 token 成本削减,并强调了通过成本分配标签和业务交易成本框架进行持续治理的重要性。

    推荐理由:文章通过 Accenture 的实际案例,系统性地介绍了在 Amazon Bedrock 上优化 AI 成本的六种技术手段与治理框架,为企业规模化部署 AI 提供了可落地的经济性优化路径。

  4. AWS Machine Learning Blog72

    Amazon Bedrock AgentCore 引入 Strands 框架、内置工具及生命周期钩子

    Amazon Bedrock AgentCore 升级至 Strands 框架,提供推荐模型、自动提示词缓存、上下文管理及多种内置工具,无需用户自行配置基础设施。新增的生命周期钩子允许开发者在智能体循环的关键节点运行确定性代码,从而实现对智能体行为的安全治理与流程控制。

    推荐理由:此次升级引入了 Strands 框架与生命周期钩子,开发者可借此实现更可控的智能体工作流,并利用内置工具降低开发与运维成本。

  5. AWS Machine Learning Blog65

    Amazon SageMaker AI 推出推理端点监控与智能体优化建议功能

    Amazon SageMaker AI 现可自动监控生成式 AI 推理端点,针对延迟漂移、GPU 空闲及配置优化缺失提供智能体驱动的改进建议。该功能默认开启且不读取请求内容,用户可通过 AWS Health 接收通知,并在 SageMaker Studio 中利用智能体体验进行基准测试,从而在数据支持下决策是否应用优化配置。

    推荐理由:该功能通过自动监控推理端点并提供基于智能体的基准测试建议,帮助用户在不改变生产环境的前提下优化性能与成本。

  6. AWS Machine Learning Blog72

    宝马集团如何管理数千名开发者使用的数百个 AI 智能体

    宝马集团通过构建分层架构(MCP 工具、技能、流程)和基础设施即代码(IaC)实践,实现了对大规模智能体集群的治理。该方案通过 CI/CD 流水线强制执行确定性治理规则,并利用中央注册表与持续评估机制,在保障合规性与安全性的同时,支持开发团队高效构建并扩展智能体应用。

    推荐理由:宝马集团分享了其在企业级规模下治理数百个 AI 智能体的架构模式,为开发者提供了可复用的治理框架与 CI/CD 实践参考。

  7. AWS Machine Learning Blog78

    AWS 宣布 Amazon Bedrock AgentCore 支持通过 AWS 账单支付 Marketplace 产品

    AWS 扩展了 Amazon Bedrock AgentCore payments 功能,允许 AI 智能体在 AWS Marketplace 中发现并购买支持 x402 协议的软件、API 和数据,费用直接结算至开发者的 AWS 账单。该方案通过 AWS Billing 集成、支出限额设置及 CloudTrail 审计功能,为企业提供了安全且可控的智能体自主交易环境。

    推荐理由:AWS 将 AWS Marketplace 集成至 AgentCore payments,使 AI 智能体能通过 AWS 账单直接支付 x402 协议的付费内容,为企业级智能体交易提供了可审计的结算方案。

  8. AWS Machine Learning Blog68

    AWS Quick 发布多智能体协作、流程自动化及网页端更新

    AWS Quick 推出多项更新,支持用户通过自然语言在聊天中构建和运行自动化流程,实现多智能体协同处理复杂任务。更新后的网页端新增了每日简报、任务看板及后台持续运行功能,并增加了对 Meta Ads 和 Amplitude 的数据连接支持,同时引入了提示词安全防护与多语言支持。

    推荐理由:AWS Quick 此次更新强化了流程自动化与多智能体协作能力,通过自然语言构建工作流及新增数据连接器,帮助团队将个人经验转化为可复用的标准化流程。

  9. AWS Machine Learning Blog68

    AWS 推出分布式 KV 缓存 Agent 技能以降低自托管 LLM 成本与延迟

    AWS 发布了用于 Agent Toolkit 的分布式 KV 缓存技能,旨在通过 Amazon ElastiCache 共享缓存层减少 GPU 重复计算,从而降低自托管 LLM 的推理成本并缩短首字延迟。该技能支持 Kiro、Claude Code 等 Agent,可引导用户完成工作负载评估、缓存集群配置及故障排查,并提供 KVTrace 工具用于预测性能收益。

    推荐理由:本文介绍了如何利用 AWS Agent Toolkit 中的分布式 KV 缓存技能优化自托管模型推理,通过自动化诊断、成本评估与配置引导降低延迟。

  10. AWS Machine Learning Blog68

    Amazon SageMaker HyperPod 发布 Global Inference Gateway,支持跨区域与集群的统一推理端点

    Amazon SageMaker HyperPod 推出 Global Inference Gateway,允许用户通过单一端点管理多个集群的推理流量。该网关根据 KV 缓存利用率、队列深度、区域距离及错误率自动路由请求,并支持跨区域自动故障转移,无需用户手动维护负载均衡或 DNS 配置。

    推荐理由:该功能通过单一端点实现跨集群与跨区域的流量调度与自动故障转移,帮助用户提升 GPU 资源利用率并简化网络架构。

  11. AWS Machine Learning Blog62

    Standard Bank Group 如何实现生成式 AI 的风险评估自动化

    Standard Bank Group 与 AWS 合作开发了一套自动化风险评估系统,通过预评估智能体收集证据,并利用 Amazon Bedrock 上的大模型作为“裁判”对 AI 用例进行合规性评分。该方案将传统的两周人工审核缩短至约两小时,实现了从静态文档审核向持续性自动化合规治理的转变。

    推荐理由:本文展示了银行如何通过自动化评估流程将合规政策转化为可执行的测试,为企业在快速迭代中实现 AI 风险治理提供了可参考的架构思路。

11月20日周五
  1. NVIDIA Blog68

    NVIDIA 开发者如何利用前沿 AI 智能体将创意转化为仿真应用

    NVIDIA 官方介绍了开发者如何通过自然语言指令引导 AI 智能体,结合 NVIDIA Omniverse 库与 Isaac Sim 框架,完成从 3D 资产组装、物理属性配置到交互式仿真环境构建的全过程。文中通过机器人拾取、VR 场景搭建、数字孪生测试及工业自动化等多个实战案例,展示了智能体在提升仿真开发效率与验证复杂场景中的应用价值。

    推荐理由:文章通过多个 NVIDIA 内部及生态开发者的实操案例,展示了如何利用前沿 AI 智能体结合 Omniverse 库构建物理仿真环境,为开发者提供了可参考的 Agent 辅助开发工作流。

11月19日周四
  1. OpenAI News77

    OpenAI 如何利用 Performance Factory 保持 ChatGPT 的运行速度

    OpenAI 介绍了其内部的 Performance Factory 系统,该系统利用 Codex 智能体自动调查、诊断并修复 ChatGPT 的性能回归问题。通过将性能工程工作流模块化,该系统实现了从告警触发到修复验证的全流程自动化,并引入了对抗性审查机制以提高诊断准确性。

    推荐理由:OpenAI 详细介绍了其内部自动化性能工程系统 Performance Factory 的架构与工作流,为开发团队构建生产级智能体系统提供了可参考的工程范式。

  2. Hugging Face Blog68

    Hugging Face 发布微调任务时长预测研究

    Hugging Face 团队通过分析 272 个生产环境微调任务,发现基于 FLOPs 的传统估算方法误差较大,而使用 CatBoost 回归模型结合评估频率、检查点策略等配置特征,可将平均绝对误差降低至 1.71 小时。该研究指出,生产环境中的任务时长受环境设置、I/O 开销及资源争用影响显著,相关论文即将发布。

    推荐理由:该研究通过对比传统 FLOPs 估算与机器学习预测模型,展示了如何利用训练配置特征更准确地预估微调任务时长,为优化 GPU 集群调度提供了可迁移的方法论。

11月18日周三
  1. Hugging Face Blog62

    IBM 时间序列基础模型集成至 Confluent 平台

    IBM 宣布其时间序列基础模型现已原生集成至 Confluent 平台,支持在云端及本地环境通过 Apache Flink 运行。该集成允许企业在流数据处理过程中直接应用预测、异常检测及语义智能,无需为每个序列单独训练模型,且模型可在标准 CPU 上运行,助力智能体在生产、零售、金融等场景中实现实时决策。

    推荐理由:IBM 将时间序列基础模型集成至 Confluent 平台,使企业能够直接在流数据上进行实时预测与异常检测,从而缩短从信号获取到决策执行的周期。

  2. Hugging Face Blog68

    在 Transformers 中实现 MoE 模型专家流式传输以突破推理限制

    作者通过在 Transformers 中引入专家流式传输(Expert Streaming)机制,成功在 32GB 内存的 Mac 上运行 180B 参数的 MoE 模型。该方案通过将专家权重卸载至磁盘、利用 LRU 缓存及 Metal 内核优化,使推理速度达到 14 tok/s,性能表现已接近专用推理引擎 Strata。

    推荐理由:作者通过在 Transformers 中实现 MoE 模型专家流式传输,展示了如何在有限内存设备上运行超大模型,并对比了不同推理引擎的性能优化路径。

11月17日周二
  1. NVIDIA Blog68

    NVIDIA 发布 DGX Spark HPC 开发套件,将桌面转化为超级计算实验室

    NVIDIA 在 SC26 大会上推出 DGX Spark HPC 开发套件,旨在为研究人员提供桌面级的多节点集群环境。该套件支持单节点至四节点扩展,通过 ConnectX-7 网络互联,无需交换机即可实现 512GB 内存与 16TB NVMe 存储,支持在本地部署如 DeepSeek V4.1 等参数量达 700B 的模型,帮助科研团队绕过共享集群的排队时间,加速科学模拟与 AI 训练工作流。

    推荐理由:该套件通过将多节点集群小型化至桌面端,为科研人员提供了本地化运行大规模科学计算与 AI 模型的方案,有效缩短了排队等待时间并提升了研发效率。

  2. Microsoft Research76

    Microsoft Research 发布 TokenEconomizer:通过经验学习提升 AI 编码智能体效率

    TokenEconomizer 是一款开源插件,通过分析代码库的历史会话记录,利用微技能注入、工具剪枝和失败循环干预三种机制,在不修改底层模型的情况下减少冗余 Token 消耗。在 277 项 SWE-Bench 任务测试中,该工具在保持任务成功率稳定的前提下,将平均成本降低了 18.4% 至 30.9%。

    推荐理由:该研究提出的插件通过利用历史会话经验优化智能体上下文,在不修改模型的前提下显著降低了编码任务的 Token 消耗,为提升智能体工程效率提供了可迁移的实践路径。

11月5日周四
  1. Mistral AI78

    Mistral AI 发布 Mistral Studio 企业级平台更新

    Mistral AI 推出 Mistral Studio 新版本,新增托管智能体、工作流自动化及应用构建功能,支持在云端、VPC 或本地部署。该平台集成 Mistral Large 4 模型,通过 MCP 服务器和可视化工具,帮助企业快速构建并管理具备数据安全与可观测性的 AI 业务流程。

    推荐理由:Mistral AI 扩展了企业级平台功能,通过托管智能体、工作流和应用构建工具,帮助企业在保持数据主权的同时加速 AI 落地。