跳到正文

#RAG

  1. AWS Machine Learning Blog68

    利用 Accenture 的分阶段方法优化 Amazon Bedrock 上的 AI 经济性

    本文介绍了在 Amazon Bedrock 上优化 AI 成本的六种杠杆,涵盖从配置调整到架构优化及基础设施投资的三个阶段。Accenture 通过在电信、保险等行业的四个案例验证了这些方法,实现了 40% 至 85% 的 token 成本削减,并强调了通过成本分配标签和业务交易成本框架进行持续治理的重要性。

    推荐理由:文章通过 Accenture 的实际案例,系统性地介绍了在 Amazon Bedrock 上优化 AI 成本的六种技术手段与治理框架,为企业规模化部署 AI 提供了可落地的经济性优化路径。

  2. AWS Machine Learning Blog68

    AWS 推出分布式 KV 缓存 Agent 技能以降低自托管 LLM 成本与延迟

    AWS 发布了用于 Agent Toolkit 的分布式 KV 缓存技能,旨在通过 Amazon ElastiCache 共享缓存层减少 GPU 重复计算,从而降低自托管 LLM 的推理成本并缩短首字延迟。该技能支持 Kiro、Claude Code 等 Agent,可引导用户完成工作负载评估、缓存集群配置及故障排查,并提供 KVTrace 工具用于预测性能收益。

    推荐理由:本文介绍了如何利用 AWS Agent Toolkit 中的分布式 KV 缓存技能优化自托管模型推理,通过自动化诊断、成本评估与配置引导降低延迟。

已经到底了