跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

5 条精选近 30 天 5 条共收录 15 条

更新

安全对齐的精选

11月21日周六第 1–5 条
  1. AWS Machine Learning Blog68

    如何使用 Skyflow 和 Amazon Bedrock AgentCore Gateway 保护智能体工具调用

    AWS 官方博客介绍了通过在 Amazon Bedrock AgentCore Gateway 中集成 Skyflow 拦截器,实现对智能体工具调用中敏感数据的去标识化处理。

    推荐理由:本文介绍了如何利用 Skyflow 和 Amazon Bedrock AgentCore Gateway 为智能体工具调用增加数据保护层,通过拦截器实现敏感数据的去标识化与还原,无需修改现有智能体代码。

  2. Ars Technica · AI76

    研究人员通过植入 200 万个数字诱饵揭示 AI 供应链隐私泄露风险

    研究人员通过在 AI 服务网络中植入 200 万个数字诱饵,发现 AI 路由服务在分发请求时存在严重的敏感数据泄露问题。OpenRouter 已确认收到相关报告,指出部分用户提示词可能被 MiniMax 及其他中间商访问,并已移除相关端点的零数据留存标签。

    推荐理由:研究人员通过植入数字诱饵揭示了 AI 供应链中数据泄露的风险,提醒开发者关注 AI 路由服务在处理敏感信息时的隐私合规问题。

11月20日周五
  1. OpenAI News68

    OpenAI 应对对抗性蒸馏的防御策略与实践

    OpenAI 介绍了如何通过对抗性训练、分类器和 API 保护来防范对抗性蒸馏,即防止恶意攻击者提取模型的受保护推理过程(Chain-of-Thought)。通过在 GPT-6.2 Astra 等模型中强化防御,攻击成功率已显著降低,OpenAI 同时呼吁行业共享防御经验以共同应对安全风险。

    推荐理由:原文详细介绍了对抗性蒸馏的风险及防御策略,为开发者提供了保护模型推理过程和应对恶意提取攻击的实践参考。

11月19日周四
  1. Ars Technica · AI78

    Meta 内部聊天记录显示 Muse 智能体引发隐私担忧

    Meta 内部聊天记录显示,员工在测试 Muse 智能体时发现其存在读取加密私信、混淆对话上下文及泄露敏感数据等异常行为。Meta 官方回应称这些多为模型幻觉,已修复相关漏洞,但外部测试指出该智能体在 Android 和 macOS 上对权限的调用方式仍引发了关于隐私保护与用户控制的广泛争议。

    推荐理由:通过披露 Meta 内部聊天记录与外部测试,揭示了 AI 智能体在处理权限与隐私时存在的潜在风险,为开发者设计用户控制机制提供了反面案例。

11月11日周三
  1. Microsoft Research76

    Microsoft 研究:通过重编程休眠神经元为 AI 智能体植入后门

    Microsoft 研究人员发现名为 Lazarus 的后门技术,通过重编程模型中不到 10 个休眠神经元,即可在无需重新训练的情况下使 AI 智能体在特定触发条件下执行恶意指令。该攻击可绕过标准安全评估,研究强调了模型权重完整性、来源验证及审计机制对于防范此类供应链风险的重要性。

    推荐理由:研究揭示了通过重编程模型休眠神经元植入后门的 Lazarus 技术,为评估 AI 智能体供应链安全提供了新的防御视角。