跳到正文

Microsoft

微软的 AI 安全动态:AI Red Team 与 PyRIT、Copilot 的提示注入与数据外泄漏洞、MSRC 披露与防护措施。

97条动态与论文相关主题提示注入红队OpenAI
在这个话题内搜索或按分类筛选

新闻与论文

第 61–80 条 · 共 97 条
10月1日周四
  1. Adversa AI · 收录 · 原文 43

    Adversa AI 汇总 2026 年 8 月 MCP 安全资源:协议授权加固与十项攻防材料

    Adversa AI 汇总了 2026 年 8 月的十项 MCP 安全资源,按 MCP 防御、MCP 安全入门、MCP 事件和 MCP 攻击技术分组。7 月 28 日发布的 MCP 规范修订主要是一次授权加固,按 RFC 9207 做 issuer 校验、客户端凭证绑定签发方、弃用 Dynamic Client Registration 改用 client metadata documents,并移除会话标识、支持基于 header 的路由,使网关成为策略执行点而非代理;官方最佳实践文档同日更新。

  2. Adversa AI · 收录 · 原文 55

    Adversa AI 盘点针对 AI 智能体的十起零点击攻击

    Adversa AI 汇总了十起针对 AI 智能体的零点击攻击,受害者在正常工作流中不点击、不授权,仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里,涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等;三起获得 CVE,评分多在 9.3 以上,其余七起或被静默修补,或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文,模型无法区分内容与指令,随后由智能体自身权限执行攻击;外泄通道从图片预取、厂商云端服务端 HTTP,逐步转向浏览器导航、Outlook 正常发信和开发者 shell。

    推荐理由梳理十起零点击攻击的入口、外泄通道与厂商处置差异,可对照检查自家 Agent 的检索信任边界与出站通道。

  3. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 52

    NVIDIA 分析编码智能体开发者工具的攻击面

    NVIDIA 技术博客指出,开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具,这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异,但都共享同一套框架,即用 LLM 决定要执行的动作。

    推荐理由文章梳理了 Cursor、Codex、Claude Code 等编码智能体共同的 LLM 决策框架,说明这类工具为何构成新的攻击面。

  4. Embrace The Red · 收录 · 原文 46

    ASCII Smuggler 更新:用两个不可见字符走私任意 Unicode 数据

    Embrace The Red 发布 ASCII Smuggler 工具更新,新增 Sneaky Bits 编码方式,仅用两个不可见字符即可编码任意 Unicode 字符或字节序列。Sneaky Bits 默认以 invisible times(U+2062)表示 0、invisible plus(U+2064)表示 1,逐位表示 Unicode 码点,两个字符可配置,在工具中作为非默认选项,默认仍为 Unicode Tags 编码。文章同时回顾了 Unicode Tags 与 Variant Selectors 两种走私技术,前者常被 LLM 直接当作指令执行,后者可将 VS1-VS256 映射为原始字节。

  5. Embrace The Red · 收录 · 原文 43

    GitHub Copilot 自定义指令文件可被植入后门代码

    作者实测发现,GitHub Copilot 会读取仓库中的 .github/copilot-instructions.md 文件并加入提示词上下文,因此指令文件中一行隐蔽内容即可让 Copilot 生成带后门代码的补全结果,作者以 Go 语言做了演示。作者同时提到 Pillar Security 此前已指出 Cursor 的 .mdc 规则文件存在同类风险,并涉及隐藏 Unicode 字符。GitHub 去年已缓解 0-click 图片渲染数据泄露问题,点击超链接时也会弹出确认对话框,除非目标域名在 VS Code 的受信任站点列表中。

  6. Embrace The Red · 收录 · 原文 28

    用 MCP Server 托管 COM 服务器实现 Windows 与 Office 自动化

    有人基于 Model Context Protocol(MCP)开发了一个名为 mcp-com-server 的原型服务器,通过动态发现方式实例化并托管任意 COM 对象,从而驱动 Windows 与 Office 自动化。该服务器提供类似 COM 的工具集——CreateObject、Get/Set Property、InvokeMethod、QueryInterface 以及列出当前所有活动服务器的接口,连接 Claude 后可创建、打开、编辑并保存 Excel 文件,再调用 Outlook 发送邮件,甚至能唤起 Internet Explorer。

  7. Embrace The Red · 收录 · 原文 50

    Embrace The Red 宣布 2025 年 AI 漏洞月,将披露 20 余篇编码 Agent 漏洞

    安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月(Month of AI Bugs),8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析,重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞,均已向对应厂商负责任披露,部分厂商数天内修复,也有厂商数月未回应、部分问题至今未缓解,还有厂商完全停止回复。

  8. Embrace The Red · 收录 · 原文 61

    GitHub Copilot 经提示注入实现远程代码执行(CVE-2025-53773)

    安全研究者披露 GitHub Copilot 与 VS Code 中的提示注入漏洞 CVE-2025-53773,攻击者可借此在开发者机器上实现远程代码执行。利用链从源代码文件、网页、GitHub issue 或工具调用响应中的提示注入开始,先向 ~/.vscode/settings.json 写入 chat.tools.autoApprove: true,使 Copilot 进入 YOLO 模式并关闭所有用户确认,随后执行终端命令,还可按操作系统条件选择载荷。该实验性设置默认存在,在 Windows、macOS 和 Linux 上均有效。

    推荐理由作者以第一手红队视角还原了从提示注入到远程代码执行的完整利用链,并给出可迁移的 Agent 配置写入风险检查点。

  9. Embrace The Red · 收录 · 原文 51

    Sourcegraph Amp Code 修复通过图片渲染外泄数据的漏洞

    Sourcegraph 的 Amp Code 曾存在一个漏洞,攻击者可利用 markdown 图片渲染外泄敏感信息,该漏洞已被修复。作者用既有演示复现了完整攻击链:托管在网站上的提示注入要求 AI 把先前聊天数据作为查询参数渲染进图片,从而发送到第三方服务器,无需人工介入即可实现 0-click 数据外泄。攻击还能先通过文件读取把敏感信息拉入上下文再泄露,其中调用 grep 工具的隐晦写法用于绕过底层模型的拒答;本例中提示注入来自源代码文件里的注释。作者于 2025 年 6 月 14 日联系 Sourcegraph 后漏洞很快得到处理,建议运行最新版本。

  10. Embrace The Red · 收录 · 原文 50

    Windsurf Cascade 被曝提示注入漏洞,可外泄开发者密钥

    安全研究者披露 Windsurf Cascade 存在两条间接提示注入导致数据外泄的路径。第一条利用无需用户批准的 read_url_content 工具,把读取能力变成外发 HTTP 请求通道,当开发者用 Cascade 分析被植入恶意指令的源码文件时,.env 等敏感环境变量会被外泄。第二条是渲染来自不可信域名的图片,与作者此前在 GitHub Copilot 发现的漏洞类似,同样无需人工确认即可把开发者机器上的信息发送到第三方服务器。作者称已于 2025 年 5 月 30 日负责任披露,Windsurf 确认收到后未再回应后续询问,因此三个月后公开,并暂未公布完整技术细节与提示注入载荷。

  11. Embrace The Red · 收录 · 原文 55

    AgentHopper:借多个编码 Agent 漏洞实现自我传播的概念型 AI 病毒

    安全研究员 Johann Rehberger 公布名为 AgentHopper 的概念验证 AI 病毒,用一个通用的条件化提示注入载荷在不同编码 Agent 间自动跳转并触发各自的远程代码执行路径。它利用此前负责任披露并已被各厂商修复的四类漏洞实施感染:向 GitHub Copilot 写入 settings.json 打开 YOLO 模式、给 Amp Code 配置伪造的 MCP 服务器、令 Amazon Q Developer 执行带 -exec 参数的 find 命令、修改 AWS Kiro 配置将所有 bash 命令加入允许列表,随后下载并运行 AgentHopper。

    推荐理由该概念验证串联四个已修复的编码 Agent 任意代码执行漏洞,给出条件化提示注入跨 Agent 自我传播的可迁移思路。

  12. Embrace The Red · 收录 · 原文 55

    跨 Agent 提权:一个 Agent 如何改写另一个 Agent 的配置并放它出沙箱

    研究者展示了一种跨 Agent 提权攻击链:被间接提示注入劫持的 GitHub Copilot 可以写入 Claude Code 的 MCP 配置和 CLAUDE.md 等指令文件,添加恶意 MCP server 或放行 shell 命令,等开发者使用 Claude Code 时这些改动被加载并执行任意代码,Claude 还能反向改写 Copilot 配置形成升级循环。

    推荐理由作者以 GitHub Copilot 与 Claude Code 为例演示跨 Agent 提权链,并给出隔离配置、最小权限等可迁移的缓解思路。

  13. Embrace The Red · 收录 · 原文 25

    AI 中的偏差正常化:从 LLM 不可信输出来看间接提示注入风险

    AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance",此处用以描述系统性地过度依赖 LLM 输出的现象,尤其在智能体系统中。由于 LLM 是不可信的参与者,访问检查、编码与净化等安全控制必须施加于其输出下游,否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件,Anthropic 也记录了针对 Claude 的数据泄露问题。

  14. Embrace The Red · 收录 · 原文 50

    OpenAI 新论文详解基于 URL 的数据外泄缓解措施

    OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》,详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞,当时 OpenAI 尚无漏洞赏金计划,问题未获修复;同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。

  15. Embrace The Red · 收录 · 原文 50

    研究者演示在 Agent Skill 中植入不可见 Unicode 后门并发布扫描工具

    安全研究者 Johann Rehberger 演示了如何用不可见的 Unicode Tag 码点在 Agent Skill 中植入提示注入后门,使其通过人工文本审查。他把这类隐藏指令加入 OpenAI 官方 Skills 项目中的 security-best-practices Skill,用户调用后 Claude 会按指令输出指定文本并执行 Bash 命令;该手法在 GitHub Copilot 配合 Claude 4.5 时同样生效。作者指出 Skill 的 name 和 description 会直接进入系统提示词上下文,且 Agent 能自行创建或修改 Skill 影响自身与其他 Agent。

  16. Garrison Lovely · 收录 · 原文 50

    OpenAI 非营利时代终结:两州总检察长有条件放行转营利重组

    特拉华州与加州总检察长对 OpenAI 转为营利性公益公司(PBC)的重组方案有条件放行,微软也以调整合作条款和获得新 PBC 1350 亿美元股权为条件表示同意。总检察长提出的二十条要求包括:非营利组织独家拥有任免 PBC 董事的权力;PBC 董事会在安全与安保事务上只能考虑使命;由 Zico Kolter 领导的 Safety and Security Committee 有权要求缓解措施乃至叫停新模型发布;非营利董事每半年、PBC 高管每季度向总检察长办公室汇报;限制非营利治理权需提前 21 天通知。

  17. Help Net Security AI · 收录 · 原文 50

    GitHub 的 AI 智能体在 Android 应用中发现 24 个漏洞

    GitHub Security Lab 研究员 Kevin Stubbings 在实验室开源 Taskflow Agent 之上构建了面向移动应用的 AI 审计工作流 taskflows,用其发现并报告了 Android 应用中的 20 多个漏洞。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  18. Simon Willison · 收录 · 原文 50

    Microsoft Copilot Cowork 被指可外泄文件

    Simon Willison 指出 Microsoft Copilot Cowork 存在数据外泄风险:该产品允许 Agent 未经批准向用户自己的收件箱发送邮件,而这些邮件会以可渲染外部图片的方式展示,用户打开被污染邮件时外部图片会触发对外部网站的请求,从而泄露数据。由于 OneDrive 可以生成预认证下载链接,一次成功的提示注入就可能让这些链接被泄露,攻击者据此下载文件。

  19. CSET · 收录 · 原文 15

    CSET 专家解读 AI 恐慌主流化的一周

    CSET 的 Jessica Ji 与 Andrew Lohn 在 CyberScoop 发表评论文章,认为封锁先进 AI 模型的访问权限并非应对 AI 网络威胁的可持续方案。Jessica Ji 还就 OpenAI 开发的 AI“超级黑客”GPT-Red、众包平台 FLARE-AI 的推出,以及 Microsoft、Google 和 xAI 允许美国政府评估未发布 AI 模型网络安全风险的新协议,分别在 MIT Technology Review、WIRED 和 CNN 发表专家观点。