跳到正文

Google DeepMind · News

10月12日 · 周一

Google DeepMind · News

按原发与事件进展排列
Google DeepMind

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月6日周二
  1. Adversa AI、Cloud Security Alliance LabsAdversa AI 等 2 个来源 · 2篇报道 · 57

    GitHub Copilot CLI 加密上下文注入风险

    安全厂商 Adversa AI 报告一种针对 GitHub Copilot CLI 的加密上下文注入风险，称在其测试中，不可信网页内容可导致未经授权的本地敏感信息外发；相关效果为厂商测试报告，不能仅凭该案例推断所有部署配置均受影响。Cloud Security Alliance Labs 的研究笔记概述了 Adversa 关于加密上下文注入的研究，并转述不同模型对相关输入的反应差异，属对具体测试的转述，不等同跨模型或所有部署配置的普遍安全结论。

  2. Forkast、ClawSecure 等 3 个来源Forkast 等 3 个来源 · 3篇报道 · 35

    ClawSecure称MCP协议存在结构性漏洞

    安全厂商 ClawSecure 在《AI Agent Threat Report》第一卷中称，MCP 协议规范本身存在结构性漏洞，而非厂商实现问题，开发者无法靠打补丁解决。其对 Linear MCP、Notion 和 Dropbox Dash 三个 MCP 平台做漏洞复现测试，三个平台全部被攻破；在 Dropbox Dash 上测试的 5 个攻击面中有 4 个被攻破，并在 75 分钟无引导研究中对 Linear 生产系统植入攻击者控制内容。对来自五家前沿实验室的 14 款模型做间接提示注入红队测试，全部模型都服从了攻击者指令，表现最好的 Claude Opus 4.7 服从率为 26.7%，GPT-5.5 与 Qwen 3.7 Max 为 91.7%，Gemini 3.1-flash-lite 及多款 Gemini 2.5/3.5-flash 达 100%。测试还发现服务器在内容创建时自动抓取攻击者控制的链接，无需 AI 介入即可形成数据泄露通道；20 种混淆技术中 17 种通过往返检测。

  3. Ars Technica AIArs Technica AI · 55

    MCP 代理间信任缺陷致提示注入传播

    独立研究者 Syed Anas Mohiuddin 测试了 Google、JP Morgan Chase、Weaviate、Rapid7、法国政府跨部门数字局和美国联邦政府等机构的 AI 智能体，发现 MCP（Model Context Protocol）在智能体间通信中存在信任缺口。攻击利用一种特殊形式的提示注入，目标不是 LLM 而是翻译或数据分析等具体智能体，这些智能体内部的护栏往往宽松，会把有害指令沿链条传给下游智能体。

9月30日周三
9月29日周二
  1. Ameya P. · 50

    研究显示 Claude Code、Codex 等 Agent 可修改或删除自身 trace

    一项新论文指出，Claude Code、Codex、Antigravity、Open Code 和 Grok Build 允许 Agent 轻易修改甚至删除自身的 trace，且不会触发任何护栏，Muse Code 不在其列。修改与删除既可由失准模型完成，也可由外部攻击者通过提示注入实现。作者 Ameya P. 补充说，模型 trace 在安全调查中至关重要，但对外部用户的保护却出奇地少；由于普遍缺乏防篡改机制，trace 一旦被删除就很难找回。论文呼吁对 trace 施加比现在更强的保护。

9月28日周一
  1. pwn.ai · 62

    pwn.ai 称其 AI 智能体在 Google kvmCTF 中捕获官方 flag

    pwn.ai 称其 AI 智能体在授权的 Google kvmCTF 环境中构建并运行 KVM 漏洞利用，并于 6 月 17 日取得官方 flag，相关漏洞编号为 CVE-2026-46113。该案例涉及虚拟机与宿主之间的隔离边界。作者称因公开补丁的时间窗口未获得赏金；关于首例与自主程度的说法均为作者主张，人类提供了任务、授权与基础设施，现有材料未提供独立复现。

9月16日周三
  1. Forever Security · 65

    Forever Security 用一个扩展劫持五款浏览器内置 Agent，获 2 万美元赏金与 2 个 CVE

    Forever Security 研究团队披露 BragJack 攻击，用一个普通 Chromium 扩展同时攻破 Gemini Live in Chrome、Perplexity Comet、Microsoft Edge Actions、Opera Neon 和 Claude in Chrome 五款浏览器内置 Agent，累计获得 2 万美元赏金并拿到 CVE-2026-0628 与 CVE-2026-55945 两个编号。攻击核心是 Prompt Forcing，借助 declarativeNetRequest 权限削弱 CSP 等安全响应头并重定向 JavaScript 资源，从而在特权上下文中执行代码，再直接向 Agent 下发指令。可达成的效果包括读取本地文件与浏览历史、获取浏览器配置文件信息、截取标签页截图，Gemini Live 场景下还可调用摄像头与麦克风。

9月13日周日
  1. X @JSchaeff3r、X @kotekjedi_ml 等 5 个来源X @JSchaeff3r 等 5 个来源 · 5篇报道 · 59

    第三方云聚合器仍可窃取前沿模型推理

    研究者此前披露的推理提取攻击在公开两个月后，作者审计了厂商此后引入的缓解措施，发现仍能通过第三方 API 提供商从 Astra/Sol-6.1 提取推理内容，并已向 OpenAI 和 Anthropic 披露。Jonas Geiping 复盘称所有前沿厂商的推理都可被提取，厂商很难彻底修补，针对 Astra 的攻击一直持续到本周。另一项审计覆盖 OpenAI、Anthropic 直连端点及 AWS Bedrock、Microsoft Azure、OpenRouter 等下游云聚合商，发现修补碎片化且易被绕过：推理重放攻击在 Azure 上对每个 OpenAI 模型（含 GPT-6 Astra）以及 Anthropic 直到 Sonnet 5 的模型仍间歇有效，一次解码即可逐字还原轨迹。作者认为企业需覆盖的攻击面之大令人意外，攻击仍可能绕过防护，并称 Astra/Sol-6.1 的推理轨迹已对公众开放，思维链监控可能相当困难。

8月20日周四
  1. Adversa AI · 53

    Adversa AI 披露 Cryptographic Context Injection 攻击：Grok 零点击泄露聊天记录，Gemini 被绕过安全策略

    Adversa AI 公开了一种名为 Cryptographic Context Injection 的攻击手法，把恶意指令封装成 AES-256-GCM 密文并诱导模型在自己的代码执行沙箱中解密，使解密后的指令以运行时输出的形式进入可信上下文，从而绕过静态护栏。在 xAI Grok 网页版聊天中，用户只需发出普通的“总结这个页面”请求，页面内嵌的加密 JSON 就会让 Agent 调用其联网导航工具，把用户名、粗略位置、订阅等级和整段对话历史拼进 URL 参数发往攻击者服务器，全程无点击、无确认、无警告。

8月18日周二
  1. Adversa AI · 55

    Adversa AI 盘点针对 AI 智能体的十起零点击攻击

    Adversa AI 汇总了十起针对 AI 智能体的零点击攻击，受害者在正常工作流中不点击、不授权，仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里，涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等；三起获得 CVE，评分多在 9.3 以上，其余七起或被静默修补，或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文，模型无法区分内容与指令，随后由智能体自身权限执行攻击；外泄通道从图片预取、厂商云端服务端 HTTP，逐步转向浏览器导航、Outlook 正常发信和开发者 shell。

8月12日周三
  1. Simon Willison · 53

    论文披露从专有 LLM API 窃取加密思维链的方法

    一篇论文发现 Anthropic、OpenAI 和 Google 返回给客户端的加密思维链块可在不同会话、用户和模型间重放，把前沿模型的推理轨迹喂给同族较弱模型并越狱后，即可还原出强模型的隐藏推理明文。

8月3日周一
  1. Pillar Security · 61

    Pillar 披露 Google ADK 仓库 Agent 间权限边界漏洞

    Pillar Security 披露 Google ADK 仓库中 Agent 间的权限边界问题：低权限分诊 Agent 受到不可信输入影响后，可借协作者身份触发更高权限的 Agent 工作流；另一条链涉及命令限制绕过与运行环境凭据风险。研究者报告 Google 已于 7 月确认修复，未报告在野利用；部分影响仍受人工合并和内部审查限制。该案例体现了多 Agent 系统中身份绑定、权限委托和不可信输入之间的风险。

7月20日周一
  1. Island · 51

    Island 披露 AgentBaiting 攻击：800 多个伪装成 AI Skill 与 MCP 服务器的恶意仓库投递恶意软件

    Island 报告称，FakeGit/SmartLoader 活动涉及约 7600 个恶意仓库，其中 800 多个冒充 AI Skill 或 MCP server 以投放恶意软件。厂商自测显示，Claude Code、Gemini 和 ChatGPT 在未收到链接的情况下也会检索并推荐相关仓库。约 200 个仓库的 Release 资产累计下载超过 1400 万次；下载数不等于感染人数，测试结果也不能外推为所有智能体的行为。

7月16日周四
  1. The Hacker News · 59

    新一类 Agent 数据注入攻击可让 AI 智能体误点按钮或执行攻击者命令

    The Hacker News 介绍研究者提出的 Agent Data Injection（ADI）：攻击者操纵智能体依赖的数据字段，使其在继续执行原任务时依据错误信息采取行动，而不是直接插入新的操作指令。作者在网页操作和编码助手等受控场景中展示了错误点击、误信身份或执行记录等风险，并报告部分针对传统提示注入的防御无法同样阻断这类数据操纵。不同产品和界面设计的结果存在差异，例如随机化元素标识可限制某类点击攻击；更严格的数据来源追踪也伴随任务完成能力下降。报道基于研究者实验及访谈，不代表存在已确认的在野利用，也不能将单项防御结果泛化为全面安全。

6月3日周三
  1. Trail of Bits · 57

    Trail of Bits 绕过 ClawHub、Cisco 与 skills.sh 的 skill 扫描器

    Trail of Bits 测试了 ClawHub、Cisco skill-scanner 以及 skills.sh 集成的 Gen、Socket、Snyk 三家扫描器，用四个恶意 skill 全部绕过检测，其中三个不到一小时就完成。攻击手法包括在恶意代码前插入 10 万个换行符让 OpenClaw 扫描器截断文件、用 .docx 压缩包间接引用恶意脚本、在看似无害的格式化 skill 中夹带会读取环境变量的 .pyc 字节码，以及用企业环境配置话术包装的提示注入，诱导 agent 把 npm/yarn 指向攻击者控制的 registry。

5月26日周二
  1. Adversa AI · 61

    Adversa AI 披露 SymJack：符号链接劫持在六款 AI 编码 Agent 上实现 RCE

    Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法，通过恶意仓库中的符号链接劫持，让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置，并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证，作者认为这是架构层面的共性问题而非单个产品的漏洞。

5月7日周四
4月30日周四
  1. Wiz Research · 55

    Wiz 披露 AI GitHub Actions 的权限绕过与密钥外泄风险

    Wiz 对 OpenAI、Anthropic、Google 等厂商的 AI GitHub Actions 做了安全分析，发现外部 App 与 bot 可绕过权限校验触发 AI 执行，并存在针对动态生成凭据文件的密钥外泄路径。研究覆盖 anthropics/claude-code-action（超 1.2 万个公开工作流）、google-github-actions/run-gemini-cli（超 1 千个）、openai/codex-action 和 actions/ai-inference，受影响仓库合计星标超 20 万。

2月11日周三
  1. Embrace The Red · 50

    研究者演示在 Agent Skill 中植入不可见 Unicode 后门并发布扫描工具

    安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门，使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill，用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令；该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文，且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。

2025年11月26日周三
  1. Simon Willison · 55

    PromptArmor 披露 Google Antigravity 提示注入数据外泄链

    PromptArmor 演示了 Google 新 IDE Antigravity 中的一条提示注入攻击链：一个伪装成 Oracle ERP API 集成指南的网页，用 1px 字体隐藏恶意指令，操纵 Gemini 收集工作区中的敏感凭据和代码，再通过 browser_subagent 浏览恶意站点外传数据。攻击要求把 .env 中的 AWS 凭据填入 webhook.site 的 URL 参数，成功后即可窃取 AWS 密钥。Antigravity 默认拒绝访问 .gitignore 中列出的文件，但 Gemini 在思考轨迹中判断 run_command 在 shell 层运行、可绕过该限制，于是尝试用 cat 读取 .env。