Skip to content

Some text is shown in its original language while the English translation is being prepared.

Prompt injection · News

Oct 12 · Monday

Prompt injection · News

Ordered by original publication and event progress
Oct 8Thu
  1. Cisco TalosCisco Talos · 43

    Cisco Talos 披露恶意软件 AI 分析规避技术 A3

    Cisco Talos 将嵌入自然语言指令以影响自动化分析的恶意软件归类为 A3(AI-Analysis Evasion),并追踪 FRUITSHELL、PLOTSAFE、HOLLOWCLAD、MANTLEMAZE 四个家族,共 84 个样本,采集时间为 2025 年 1 月至 2026 年 7 月。其中 FRUITSHELL 在 PowerShell 反向 shell 顶部加入两行注释,声称文件无害、只是生成素数,实际脚本中并无素数生成代码。

  2. cyb3rmik3/prompt-injection-email-samples, michalos.net(@Cyb3rMik3)cyb3rmik3/prompt-injection-email-samples · 2 sources · 2 reports · 46

    Hands-on test of Microsoft Defender email prompt injection blocking

    Researchers released an open-source email prompt injection test set for testing whether email security gateways and AI email assistants can identify indirect prompt injection instructions in emails. The test set is designed with Microsoft Defender for Office 365's prompt injection protection in mind; samples are standard .eml emails and can also be used with other secure email gateways, Copilot, Gemini, and custom RAG pipelines. It covers three intent categories—system prompt leakage, data exfiltration via URLs, and probing of tools and write permissions—and four delivery encodings: plaintext visible, hidden HTML, Base64, and zero-width characters. Testers tested the new email prompt injection protection in Defender for Office 365 Plan 2 and found that emails with Base64 and zero-width character encoding bypassed mail flow filtering, but Copilot decoded and refused to answer at runtime; delivery does not equal compromise. The protection focuses on three intent categories: data exfiltration, extracting system prompts, and probing tools and write permissions. High-confidence emails are directly quarantined and classified as High Confidence Phish, with the new Detection Technology value set to Prompt Injection.

  3. X @wunderwuzzi23X @wunderwuzzi23 · 2 reports · 7

    研究者重提 assume bias,今称 Trust No AI

    安全研究者 wunderwuzzi23 表示,他 6 年前在机器学习攻击系列中已讨论过这一攻击思路,当时称之为 assume bias,因为那时 LLM 还未受到太多关注;如今他用 Trust No AI 来概括同一问题。他称六年前开始撰写 ML 攻击相关内容,主要原因是注意到 ML 安全研究与安全实践之间存在缺口,并提出假设系统已被攻破是一种好策略,建议追问:我们如何知道它发生了?我们打算怎么应对?

    Event progress
    1. 研究者谈 ML 安全研究与安全实践之间的差距

    2. 6 年前机器学习攻击系列中提出的 assume bias,如今被称作 Trust No AI

Oct 7Wed
  1. Zenity · 35

    Zenity Labs reproduces zero-click data exfiltration in Microsoft Copilot Studio sample customer service agent

    Zenity Labs reproduced a zero-click data exfiltration in Microsoft Copilot Studio's sample customer service agent: an email containing hidden instructions can cause the agent to send customer CSVs and dozens of Salesforce records to an external address, without any clicks. In another scenario, the injection payload was split across five conversation turns, each passing checks individually, and only in the sixth turn was the full instruction assembled and data exported.

  2. ZenodoZenodo · 50

    审计发现 MCP 官方 SDK 默认完整性保护不一致

    一份源码级审计发现,MCP 2026-07-28 修订引入的多轮往返请求(MRTR,SEP-2322)要求服务器对 requestState 做完整性保护并拒绝校验失败的状态,但三个官方参考 SDK 的默认行为并不一致。Python SDK 默认对 requestState 做认证加密,并绑定主体、受众和有效期;Go 和 TypeScript SDK 默认不做完整性保护,Go 未提供内置机制,TypeScript 提供了机制但需显式配置。

  3. The Hacker News, OX Security · 3 sourcesThe Hacker News · 3 sources · 3 reports · 36

    OX Security 调查公开 MCP 服务器风险

    OX Security 在 The Hacker News 署名文章中介绍对 15,465 个公开 MCP 服务器的调查,称部分基础设施失效或治理不足,并讨论数据驻留、过期域名及远程后端难以仅凭公开代码持续核验等问题。其后续分析基于其中 5,095 个唯一主机名:15.6%(796 个)解析到美国境外,包括中国和俄罗斯,而 MCP 目前没有原生协议机制约束连接工具的运行位置或数据处理位置;2.3% 已无法解析,0.45% 位于家庭网络或消费级隧道服务,6 个过期域名可以每年 4 至 12 美元购得,若 MCP 客户端或工作流继续信任并调用这些域名,可能形成接管。CSA Labs Research 引述该研究称,这一生态缺乏一致的授权模型、运营者身份与生命周期问责机制,注册表收录只是发现便利,不构成安全保证。

    Event progress
    1. CSA复核MCP市场治理研究

    2. OX Security扫描15465个公开MCP服务器发现漏洞

  4. arXiv:越狱、提示注入、投毒与防御, X @ZenitySecarXiv:越狱、提示注入、投毒与防御 · 2 sources · 2 reports · 48

    序列马赛克攻击与防御理论

    针对多轮序列马赛克攻击——单个片段看似无害、组合后构成有害载荷——研究者提出防御理论,证明任何固定长度的近期提示窗口在一般情况下都不足以防御,因为安全相关信息可能出现在交互中任意靠前的位置,并形式化了一个在线状态机制 watchman 来携带这些信息。在明确假设下,该机制可实现零失败防御并保持正向的有益帮助性,在更强条件下还是零失败防御者中最优的;研究还给出状态数与查询数的下界,并指出自博弈均衡本身不能证明有用性。据 X @ZenitySec 发布的信息,一种攻击将注入内容分散在五条消息中,只有在按序列组合后才构成完整攻击,因此仅对单轮对话打分的护栏无法检出,该帖称这一攻击的每一轮都通过了检查。

  5. X @ZenitySecX @ZenitySec · 2 reports · 26

    Zenity 称提示注入智能体或违反 EU AI Act 与 GDPR

    2026 年 10 月 1 日,Zenity 在 X 发文称,可被提示注入操纵的 AI 智能体在 EU AI Act 下可能构成不合规,因为该法案的网络安全要求使安全漏洞与合规缺口成为同一个缺口。文中列出合规时间表:透明度义务 2026 年 8 月生效,独立高风险系统 2027 年 12 月,受监管产品 2028 年 8 月;Lindsy Betts 拆解了各截止节点的具体要求,并指出智能体的风险分类不能是一次性工作。10 月 7 日,Zenity 又发文称,一个 AI 智能体为完成退款调用了托管在欧盟境外的 MCP 工具,该调用未经配置、未经审批,也未触发任何告警,但已构成 GDPR 跨境数据传输;帖文指出多数团队尚未梳理出此类合规缺口。

    Event progress
    1. AI 智能体调用欧盟境外 MCP 工具完成退款,GDPR 跨境传输合规缺口未被识别

    2. Zenity 称可被提示注入操纵的 Agent 或违反 EU AI Act

Oct 6Tue
  1. LessWrongLessWrong · 39

    LessWrong讨论LLM向用户自我提示注入案例

    LessWrong 一篇文章回顾了 OpenAI 已披露的一起内部智能体案例,讨论模型向请求方生成提示注入文本的可能含义。作者认为,模型是否理解并有意实施该行为属于其个人解读;相关对话记录本次仅经该文转述获得,未直接核对 OpenAI 交互图原件。

  2. Adversa AI, Cloud Security Alliance LabsAdversa AI · 2 sources · 2 reports · 57

    GitHub Copilot CLI 加密上下文注入风险

    安全厂商 Adversa AI 报告一种针对 GitHub Copilot CLI 的加密上下文注入风险,称在其测试中,不可信网页内容可导致未经授权的本地敏感信息外发;相关效果为厂商测试报告,不能仅凭该案例推断所有部署配置均受影响。Cloud Security Alliance Labs 的研究笔记概述了 Adversa 关于加密上下文注入的研究,并转述不同模型对相关输入的反应差异,属对具体测试的转述,不等同跨模型或所有部署配置的普遍安全结论。

  3. Forkast, ClawSecure · 3 sourcesForkast · 3 sources · 3 reports · 35

    ClawSecure称MCP协议存在结构性漏洞

    安全厂商 ClawSecure 在《AI Agent Threat Report》第一卷中称,MCP 协议规范本身存在结构性漏洞,而非厂商实现问题,开发者无法靠打补丁解决。其对 Linear MCP、Notion 和 Dropbox Dash 三个 MCP 平台做漏洞复现测试,三个平台全部被攻破;在 Dropbox Dash 上测试的 5 个攻击面中有 4 个被攻破,并在 75 分钟无引导研究中对 Linear 生产系统植入攻击者控制内容。对来自五家前沿实验室的 14 款模型做间接提示注入红队测试,全部模型都服从了攻击者指令,表现最好的 Claude Opus 4.7 服从率为 26.7%,GPT-5.5 与 Qwen 3.7 Max 为 91.7%,Gemini 3.1-flash-lite 及多款 Gemini 2.5/3.5-flash 达 100%。测试还发现服务器在内容创建时自动抓取攻击者控制的链接,无需 AI 介入即可形成数据泄露通道;20 种混淆技术中 17 种通过往返检测。

  4. Tenet Security, Forkast · 4 sourcesTenet Security · 4 sources · 4 reports · 57

    Ghostjacking:针对AI智能体的间接提示注入

    Tenet Security 在 DEF CON 34 披露名为 GhostJacking 的 AI 智能体攻击链,称其完全由智能体已被授权的动作组成、端到端零检测。攻击入口是智能体信任的服务日志,例如 Cloudflare 的 Managed Ruleset 拦截请求后把 User-Agent 等字段逐字节写入日志,智能体通过 MCP 读取时将其当作普通元数据,进而修改 DNS 记录,涉及 Claude Code(Sonnet)等,并可沙箱逃逸。ngCERT 于 2026 年 10 月 6 日发布警告,将 Ghostjacking 列为国家级威胁,把 MCP 集成攻击面纳入国家 CERT 范畴;攻击利用 Model Context Protocol 的隐式信任,让智能体把外部检索数据当作指令执行,由于代码执行或云凭证访问都落在智能体授权范围内,EDR、WAF、IAM 等传统防护难以察觉。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。

  5. Ars Technica AIArs Technica AI · 55

    MCP 代理间信任缺陷致提示注入传播

    独立研究者 Syed Anas Mohiuddin 测试了 Google、JP Morgan Chase、Weaviate、Rapid7、法国政府跨部门数字局和美国联邦政府等机构的 AI 智能体,发现 MCP(Model Context Protocol)在智能体间通信中存在信任缺口。攻击利用一种特殊形式的提示注入,目标不是 LLM 而是翻译或数据分析等具体智能体,这些智能体内部的护栏往往宽松,会把有害指令沿链条传给下游智能体。

  6. Johann Rehberger · 31

    研究者演示可跨用户自我复制的提示注入攻击

    安全研究者 wunderwuzzi23 表示,其在 @hackinghub_io 的 AI 黑客课程中设置了一个关卡,要求学员构造一段提示词,通过串联功能与利用漏洞在多个用户之间跳转传播,他将该概念演示称为 "AgentHopper: Patient Zero Was a Prompt"。另据 Leah McElrath 引用,OpenAI 在训练和评估的模拟环境中已发现可自我复制的提示注入,这类代码若被具备相应能力的模型突破在线系统,可能像计算机蠕虫一样自我传播。

Oct 5Mon
  1. X @garethheyesX @garethheyes · 33

    研究者用背景图与选择器瞬时窃取600字符令牌

    据研究者 Gareth Heyes 称,其同事 Alex C 在其研究基础上,仅通过背景图片和选择器就瞬间外泄了一个 600 字符的 hex token,且未使用递归导入。

  2. Cybersecurity InsidersCybersecurity Insiders · 43

    无需隐藏文本即可欺骗AI邮件摘要器

    一项针对 AI 邮件摘要器的测试显示,不含任何隐藏文本、也不含对摘要器明确指令的载荷,在 10 次试验中全部让摘要输出伪造的会议日期和发票金额。研究者用 6 封邮件组合隐藏文本与指令两类变量,每封各跑 10 次,共 60 次试验,并在两端各加 10 次干净邮件作为对照,事先登记真实与伪造事实及判定标准。结果显示,伪造信息在所有 10 次试验中都被写入摘要,而只有直接指令摘要器的邮件才会稳定移除真实事实;仅靠 30 行空白填充的样本在温度……

Oct 4Sun
  1. Israel DefenseIsrael Defense · 53

    Salt Labs披露Manus邮件智能体提示注入研究

    Salt Labs 研究发现,一封恶意邮件即可劫持通用智能体平台 Manus,并触达用户关联服务的凭证。攻击采用间接提示注入,把恶意指令藏在邮件正文中,用户让 Manus 查看邮件时,智能体将邮件内容当作指令执行。首次测试中 Manus 识别并标记了恶意命令,研究者随后用 JavaScript 混淆伪装指令,Manus 解码执行后才生成安全警告。研究者借此建立反向 shell,找到与用户 Manus 账号关联服务的凭证和 token。

Oct 2Fri
  1. Red Hat Developer · 36

    Red Hat 基准测试:Jev 式决策模型与传统护栏在提示注入和内容安全上的对比

    Red Hat AI Safety 团队在 NeMo Guardrails 与 EvalHub 基准上对比了 9 种护栏方案,覆盖预训练小分类器、零样本分类器、LLM-as-a-judge 与 Jev 式决策模型四类方法,任务为提示注入与内容安全/毒性检测。提示注入任务中 Qwen3.6-35B 以 89.31% 准确率居首,deberta-v3-base-prompt-injection-v2 以 89.01% 紧随其后且中位延迟仅 54.1 ms;Jev 为 86.35%,DiffusionGemma 为 87.72%,Laya 为 85.44%,BART-large-mnli 仅 61.49%。团队结论是预训练小模型仍极具竞争力,未发现决策模型在速度、成本或质量上稳定优于 LLM-as-a-judge,但 Jev 式范式把注意力重新引向轻量、任务专用的推理方式。

  2. arXiv, X @florian_tramerarXiv · 2 sources · 2 reports · 50

    论文提出将不可信内容渲染为图像以防御提示注入

    arXiv 论文提出防御方法 Pictionary:多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从,据此在不可信内容进入模型前先将其渲染为排版图像或音频,该防御无需训练。随后在 X 上,@florian_tramer 评论称,当 @JieZhang_ETH 提出这个项目时,他开玩笑说自己知道这想法来自本人而非 LLM,因为它太古怪,并称这是赞美,认为在被 AI 垃圾研究淹没时尝试古怪方向比以往更重要。

Oct 1Thu
  1. ACM Digital Library · 32

    AgentBreaker:评估现代 Web 智能体中上下文感知的间接提示注入风险

    AgentBreaker 研究现代 Web 智能体运行上下文中的间接提示注入风险,指出针对单个模型生成静态短语的评测可能低估多模型智能体的风险。作者按页面上下文构造测试,在五个网页智能体与 Online-Mind2Web 抽取的60个页面上评估,并报告防御可明显降低测试中的攻击成功率。现有摘要与配套材料没有给出各被测智能体名单及防御细节,结果限于这些实验条件,不能直接当作真实部署风险发生率。