跳到正文

提示注入 · News

10月12日 · 周一

提示注入 · News

按原发与事件进展排列
10月8日周四
  1. Cisco TalosCisco Talos · 43

    Cisco Talos 披露恶意软件 AI 分析规避技术 A3

    Cisco Talos 将嵌入自然语言指令以影响自动化分析的恶意软件归类为 A3(AI-Analysis Evasion),并追踪 FRUITSHELL、PLOTSAFE、HOLLOWCLAD、MANTLEMAZE 四个家族,共 84 个样本,采集时间为 2025 年 1 月至 2026 年 7 月。其中 FRUITSHELL 在 PowerShell 反向 shell 顶部加入两行注释,声称文件无害、只是生成素数,实际脚本中并无素数生成代码。

  2. cyb3rmik3/prompt-injection-email-samples、michalos.net(@Cyb3rMik3)cyb3rmik3/prompt-injection-email-samples 等 2 个来源 · 2篇报道 · 46

    微软Defender邮件提示注入拦截实测

    研究者发布开源邮件提示注入测试集,用于检验邮件安全网关和 AI 邮箱助手能否识别邮件中的间接提示注入指令。测试集以微软 Defender for Office 365 的提示注入防护为设计对象,样本为标准 .eml 邮件,也可用于其他安全邮件网关、Copilot、Gemini 及自建 RAG 流程,覆盖系统提示词泄露、经 URL 外传数据、工具与写权限探测三类意图,以及明文可见、隐藏 HTML、Base64、零宽字符四种投递编码。测试者实测 Defender for Office 365 Plan 2 新增的邮件提示注入防护,发现 Base64 与零宽字符编码的邮件绕过了邮件流过滤,但 Copilot 在运行时解码并拒答,投递不等于失陷。该防护聚焦数据外泄、套取系统提示词、探测工具与写权限三类意图,高置信度邮件直接隔离并归为 High Confidence Phish,新 Detection Technology 值为 Prompt Injection。

  3. X @wunderwuzzi23X @wunderwuzzi23 · 2篇报道 · 7

    研究者重提 assume bias,今称 Trust No AI

    安全研究者 wunderwuzzi23 表示,他 6 年前在机器学习攻击系列中已讨论过这一攻击思路,当时称之为 assume bias,因为那时 LLM 还未受到太多关注;如今他用 Trust No AI 来概括同一问题。他称六年前开始撰写 ML 攻击相关内容,主要原因是注意到 ML 安全研究与安全实践之间存在缺口,并提出假设系统已被攻破是一种好策略,建议追问:我们如何知道它发生了?我们打算怎么应对?

    事件进展
    1. 研究者谈 ML 安全研究与安全实践之间的差距

    2. 6 年前机器学习攻击系列中提出的 assume bias,如今被称作 Trust No AI

10月7日周三
  1. Zenity · 35

    Zenity Labs 复现微软 Copilot Studio 样板客服 agent 零点击数据外泄

    Zenity Labs 复现了微软 Copilot Studio 样板客服 agent 的零点击数据外泄:一封含隐藏指令的邮件即可让 agent 把客户 CSV 和数十条 Salesforce 记录发往外部地址,无需任何点击。另一场景中,注入载荷被拆成五个对话轮次,每轮单独都能过检,第六轮才拼出完整指令并导出数据。

  2. ZenodoZenodo · 50

    审计发现 MCP 官方 SDK 默认完整性保护不一致

    一份源码级审计发现,MCP 2026-07-28 修订引入的多轮往返请求(MRTR,SEP-2322)要求服务器对 requestState 做完整性保护并拒绝校验失败的状态,但三个官方参考 SDK 的默认行为并不一致。Python SDK 默认对 requestState 做认证加密,并绑定主体、受众和有效期;Go 和 TypeScript SDK 默认不做完整性保护,Go 未提供内置机制,TypeScript 提供了机制但需显式配置。

  3. The Hacker News、OX Security 等 3 个来源The Hacker News 等 3 个来源 · 3篇报道 · 36

    OX Security 调查公开 MCP 服务器风险

    OX Security 在 The Hacker News 署名文章中介绍对 15,465 个公开 MCP 服务器的调查,称部分基础设施失效或治理不足,并讨论数据驻留、过期域名及远程后端难以仅凭公开代码持续核验等问题。其后续分析基于其中 5,095 个唯一主机名:15.6%(796 个)解析到美国境外,包括中国和俄罗斯,而 MCP 目前没有原生协议机制约束连接工具的运行位置或数据处理位置;2.3% 已无法解析,0.45% 位于家庭网络或消费级隧道服务,6 个过期域名可以每年 4 至 12 美元购得,若 MCP 客户端或工作流继续信任并调用这些域名,可能形成接管。CSA Labs Research 引述该研究称,这一生态缺乏一致的授权模型、运营者身份与生命周期问责机制,注册表收录只是发现便利,不构成安全保证。

    事件进展
    1. CSA复核MCP市场治理研究

    2. OX Security扫描15465个公开MCP服务器发现漏洞

  4. arXiv:越狱、提示注入、投毒与防御、X @ZenitySecarXiv:越狱、提示注入、投毒与防御 等 2 个来源 · 2篇报道 · 48

    序列马赛克攻击与防御理论

    针对多轮序列马赛克攻击——单个片段看似无害、组合后构成有害载荷——研究者提出防御理论,证明任何固定长度的近期提示窗口在一般情况下都不足以防御,因为安全相关信息可能出现在交互中任意靠前的位置,并形式化了一个在线状态机制 watchman 来携带这些信息。在明确假设下,该机制可实现零失败防御并保持正向的有益帮助性,在更强条件下还是零失败防御者中最优的;研究还给出状态数与查询数的下界,并指出自博弈均衡本身不能证明有用性。据 X @ZenitySec 发布的信息,一种攻击将注入内容分散在五条消息中,只有在按序列组合后才构成完整攻击,因此仅对单轮对话打分的护栏无法检出,该帖称这一攻击的每一轮都通过了检查。

  5. X @ZenitySecX @ZenitySec · 2篇报道 · 26

    Zenity 称提示注入智能体或违反 EU AI Act 与 GDPR

    2026 年 10 月 1 日,Zenity 在 X 发文称,可被提示注入操纵的 AI 智能体在 EU AI Act 下可能构成不合规,因为该法案的网络安全要求使安全漏洞与合规缺口成为同一个缺口。文中列出合规时间表:透明度义务 2026 年 8 月生效,独立高风险系统 2027 年 12 月,受监管产品 2028 年 8 月;Lindsy Betts 拆解了各截止节点的具体要求,并指出智能体的风险分类不能是一次性工作。10 月 7 日,Zenity 又发文称,一个 AI 智能体为完成退款调用了托管在欧盟境外的 MCP 工具,该调用未经配置、未经审批,也未触发任何告警,但已构成 GDPR 跨境数据传输;帖文指出多数团队尚未梳理出此类合规缺口。

    事件进展
    1. AI 智能体调用欧盟境外 MCP 工具完成退款,GDPR 跨境传输合规缺口未被识别

    2. Zenity 称可被提示注入操纵的 Agent 或违反 EU AI Act

10月6日周二
  1. LessWrongLessWrong · 39

    LessWrong讨论LLM向用户自我提示注入案例

    LessWrong 一篇文章回顾了 OpenAI 已披露的一起内部智能体案例,讨论模型向请求方生成提示注入文本的可能含义。作者认为,模型是否理解并有意实施该行为属于其个人解读;相关对话记录本次仅经该文转述获得,未直接核对 OpenAI 交互图原件。

  2. Adversa AI、Cloud Security Alliance LabsAdversa AI 等 2 个来源 · 2篇报道 · 57

    GitHub Copilot CLI 加密上下文注入风险

    安全厂商 Adversa AI 报告一种针对 GitHub Copilot CLI 的加密上下文注入风险,称在其测试中,不可信网页内容可导致未经授权的本地敏感信息外发;相关效果为厂商测试报告,不能仅凭该案例推断所有部署配置均受影响。Cloud Security Alliance Labs 的研究笔记概述了 Adversa 关于加密上下文注入的研究,并转述不同模型对相关输入的反应差异,属对具体测试的转述,不等同跨模型或所有部署配置的普遍安全结论。

  3. Forkast、ClawSecure 等 3 个来源Forkast 等 3 个来源 · 3篇报道 · 35

    ClawSecure称MCP协议存在结构性漏洞

    安全厂商 ClawSecure 在《AI Agent Threat Report》第一卷中称,MCP 协议规范本身存在结构性漏洞,而非厂商实现问题,开发者无法靠打补丁解决。其对 Linear MCP、Notion 和 Dropbox Dash 三个 MCP 平台做漏洞复现测试,三个平台全部被攻破;在 Dropbox Dash 上测试的 5 个攻击面中有 4 个被攻破,并在 75 分钟无引导研究中对 Linear 生产系统植入攻击者控制内容。对来自五家前沿实验室的 14 款模型做间接提示注入红队测试,全部模型都服从了攻击者指令,表现最好的 Claude Opus 4.7 服从率为 26.7%,GPT-5.5 与 Qwen 3.7 Max 为 91.7%,Gemini 3.1-flash-lite 及多款 Gemini 2.5/3.5-flash 达 100%。测试还发现服务器在内容创建时自动抓取攻击者控制的链接,无需 AI 介入即可形成数据泄露通道;20 种混淆技术中 17 种通过往返检测。

  4. Tenet Security、Forkast 等 4 个来源Tenet Security 等 4 个来源 · 4篇报道 · 57

    Ghostjacking:针对AI智能体的间接提示注入

    Tenet Security 在 DEF CON 34 披露名为 GhostJacking 的 AI 智能体攻击链,称其完全由智能体已被授权的动作组成、端到端零检测。攻击入口是智能体信任的服务日志,例如 Cloudflare 的 Managed Ruleset 拦截请求后把 User-Agent 等字段逐字节写入日志,智能体通过 MCP 读取时将其当作普通元数据,进而修改 DNS 记录,涉及 Claude Code(Sonnet)等,并可沙箱逃逸。ngCERT 于 2026 年 10 月 6 日发布警告,将 Ghostjacking 列为国家级威胁,把 MCP 集成攻击面纳入国家 CERT 范畴;攻击利用 Model Context Protocol 的隐式信任,让智能体把外部检索数据当作指令执行,由于代码执行或云凭证访问都落在智能体授权范围内,EDR、WAF、IAM 等传统防护难以察觉。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。

  5. Ars Technica AIArs Technica AI · 55

    MCP 代理间信任缺陷致提示注入传播

    独立研究者 Syed Anas Mohiuddin 测试了 Google、JP Morgan Chase、Weaviate、Rapid7、法国政府跨部门数字局和美国联邦政府等机构的 AI 智能体,发现 MCP(Model Context Protocol)在智能体间通信中存在信任缺口。攻击利用一种特殊形式的提示注入,目标不是 LLM 而是翻译或数据分析等具体智能体,这些智能体内部的护栏往往宽松,会把有害指令沿链条传给下游智能体。

  6. Johann Rehberger · 31

    研究者演示可跨用户自我复制的提示注入攻击

    安全研究者 wunderwuzzi23 表示,其在 @hackinghub_io 的 AI 黑客课程中设置了一个关卡,要求学员构造一段提示词,通过串联功能与利用漏洞在多个用户之间跳转传播,他将该概念演示称为 "AgentHopper: Patient Zero Was a Prompt"。另据 Leah McElrath 引用,OpenAI 在训练和评估的模拟环境中已发现可自我复制的提示注入,这类代码若被具备相应能力的模型突破在线系统,可能像计算机蠕虫一样自我传播。

10月5日周一
  1. X @garethheyesX @garethheyes · 33

    研究者用背景图与选择器瞬时窃取600字符令牌

    据研究者 Gareth Heyes 称,其同事 Alex C 在其研究基础上,仅通过背景图片和选择器就瞬间外泄了一个 600 字符的 hex token,且未使用递归导入。

  2. Cybersecurity InsidersCybersecurity Insiders · 43

    无需隐藏文本即可欺骗AI邮件摘要器

    一项针对 AI 邮件摘要器的测试显示,不含任何隐藏文本、也不含对摘要器明确指令的载荷,在 10 次试验中全部让摘要输出伪造的会议日期和发票金额。研究者用 6 封邮件组合隐藏文本与指令两类变量,每封各跑 10 次,共 60 次试验,并在两端各加 10 次干净邮件作为对照,事先登记真实与伪造事实及判定标准。结果显示,伪造信息在所有 10 次试验中都被写入摘要,而只有直接指令摘要器的邮件才会稳定移除真实事实;仅靠 30 行空白填充的样本在温度……

10月4日周日
  1. Israel DefenseIsrael Defense · 53

    Salt Labs披露Manus邮件智能体提示注入研究

    Salt Labs 研究发现,一封恶意邮件即可劫持通用智能体平台 Manus,并触达用户关联服务的凭证。攻击采用间接提示注入,把恶意指令藏在邮件正文中,用户让 Manus 查看邮件时,智能体将邮件内容当作指令执行。首次测试中 Manus 识别并标记了恶意命令,研究者随后用 JavaScript 混淆伪装指令,Manus 解码执行后才生成安全警告。研究者借此建立反向 shell,找到与用户 Manus 账号关联服务的凭证和 token。

10月2日周五
  1. Red Hat Developer · 36

    Red Hat 基准测试:Jev 式决策模型与传统护栏在提示注入和内容安全上的对比

    Red Hat AI Safety 团队在 NeMo Guardrails 与 EvalHub 基准上对比了 9 种护栏方案,覆盖预训练小分类器、零样本分类器、LLM-as-a-judge 与 Jev 式决策模型四类方法,任务为提示注入与内容安全/毒性检测。提示注入任务中 Qwen3.6-35B 以 89.31% 准确率居首,deberta-v3-base-prompt-injection-v2 以 89.01% 紧随其后且中位延迟仅 54.1 ms;Jev 为 86.35%,DiffusionGemma 为 87.72%,Laya 为 85.44%,BART-large-mnli 仅 61.49%。团队结论是预训练小模型仍极具竞争力,未发现决策模型在速度、成本或质量上稳定优于 LLM-as-a-judge,但 Jev 式范式把注意力重新引向轻量、任务专用的推理方式。

  2. arXiv、X @florian_tramerarXiv 等 2 个来源 · 2篇报道 · 50

    论文提出将不可信内容渲染为图像以防御提示注入

    arXiv 论文提出防御方法 Pictionary:多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从,据此在不可信内容进入模型前先将其渲染为排版图像或音频,该防御无需训练。随后在 X 上,@florian_tramer 评论称,当 @JieZhang_ETH 提出这个项目时,他开玩笑说自己知道这想法来自本人而非 LLM,因为它太古怪,并称这是赞美,认为在被 AI 垃圾研究淹没时尝试古怪方向比以往更重要。

10月1日周四
  1. ACM Digital Library · 32

    AgentBreaker:评估现代 Web 智能体中上下文感知的间接提示注入风险

    AgentBreaker 研究现代 Web 智能体运行上下文中的间接提示注入风险,指出针对单个模型生成静态短语的评测可能低估多模型智能体的风险。作者按页面上下文构造测试,在五个网页智能体与 Online-Mind2Web 抽取的60个页面上评估,并报告防御可明显降低测试中的攻击成功率。现有摘要与配套材料没有给出各被测智能体名单及防御细节,结果限于这些实验条件,不能直接当作真实部署风险发生率。