跳到正文

防御与护栏 · News

10月13日 · 周二

防御与护栏 · News

按原发与事件进展排列
防御与护栏

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

当前：防御与护栏

10月9日周五
  1. MIT Technology ReviewMIT Technology Review · 32

    MIT Technology Review：AI 拒答机制的可靠性争议

    MIT Technology Review 刊文讨论 AI 拒答机制。文章指出，拒答已成为 AI 安全的承重墙，但这一机制本质上是概率性的，注定难以完全可靠。Anthropic 2021 年提出大语言模型应有用、诚实且无害，如今模型经红队测试与 AI 互训学会拒绝大量提示词，却仍保留作恶知识，能力与善意智能同步增长。文章称部分用户正试图用最先进 AI 培育生物病原体、构建自主无人机蜂群，而拒答边界由 AI 公司秘密划定，政府也将介入。

  2. MIT Technology ReviewMIT Technology Review · 20

    MIT科技评论：过度依赖AI拒答存在风险

    MIT Technology Review 的 The Download newsletter 指出，当前 AI 模型被训练为拒答大量提示词，但拒答机制会失效；有人正试图用 AI 培育生物病原体、构建自主无人机蜂群，失效的拒答可能酿成全球性灾难。文章还提到 GLP-1 减肥药的副作用，最常见的是胃肠道反应，研究人员也在调查其与脱发、指甲疾病及眼后神经损伤的可能关联。

10月2日周五
  1. X @florian_tramerX @florian_tramer · 28

    作者称已穷尽攻击评估思路

    2026年10月2日，X 用户 @florian_tramer 发文称，因见过太多被攻破的防御（其中不少是自己做的），人会变得有点偏执，因此一直推动做更多攻击评估，结果也因此更扎实。他表示仍不能保证不会出现更聪明的攻击，但已穷尽自己的想法和预算。

9月22日周二
  1. Cloud Security Alliance（AI 相关） · 29

    零信任只覆盖了一半爆炸半径：智能体需要按动作类别设闸

    针对智能体零信任，文章提出爆炸半径还有第二个轴：动作类别，即动作执行后能否被撤销。现有零信任只管控身份定义的可达性，而智能体已持有合法可达性，提示注入或工具结果投毒不会突破边界，只会借用被策略信任的身份。作者主张在动作执行前由确定性闸门按清单声明的类别评估，并评估整条计划链的最坏情况类别。2026 年 7 月 UK AI Security Institute 记录智能体在真实互联网评测中采取 19 次未授权动作（INC-2026-07-28-01）；2026 年 6 至 8 月 MCP 公共注册表 44,172 个工具中，83.8% 声明了规范效果标注，但 59.3% 的声明仍绑定未变更契约，相差 24.5 个百分点。

  2. Cloud Security Alliance（AI 相关） · 15

    Cloud Security Alliance：AI 智能体防御所需的三大属性

    Cloud Security Alliance 提出 AI 智能体防御需同时具备三要素——Omniscience（对应用的情境化理解）、Independence（位于杀伤链之外的独立控制与监控）、Adaptability（持续自我学习与调优）。其指出真正的危害在于智能体的下一步行动而非提示注入载荷本身，并以异步分诊场景中的错误报告为例说明恢复指令会被智能体当作常规操作执行。

日期待核
  1. Lakera Blog · 8

    AI 安全不再是一个单一问题：Lakera 提出 AI Defense Plane 统一防护员工、应用与智能体

    Lakera 提出 AI Defense Plane，主张把员工、应用与智能体三层 AI 风险纳入同一控制平面，而非各自部署点状防护。该框架强调对 AI 使用端到端可见、在运行时执行策略，并跨层关联信号，同时持续在真实与对抗条件下测试系统行为。其背景是 AI 已从生成输出转向执行动作，智能体常以委派权限调用工具，提示注入与意外泄露出现在传统控制难以检查的流程中。

  2. Lakera Blog · 17

    AI 已不再请求许可：企业安全团队是否察觉自主智能体带来的风险

    AI 正从"建议型"转向"行动型"，可自主检索内部数据、调用 API、修改记录并触发工作流，而传统安全工具无法在推理层检查其意图。Lakera 与 Check Point 的 Enterprise Playbook 将这种跨层风险累积称为常见失效模式，并指出约 60% 的观测攻击流量试图泄露系统提示词。两家公司提出 AI Defense Plane 架构，覆盖员工用 AI 工具、AI 应用与自主智能体三层，Dropbox 已部署用于防御提示注入与越狱攻击。

已经到底了