直接与间接提示注入：攻击面、真实案例与防御思路。
在这个话题内搜索或按分类筛选OWASP GenAI 安全项目汇总了 2025 年 3 月至 6 月的 14 起生成式 AI 事件与漏洞利用。其中包括 GPT-4.1 通过工具投毒被越狱、ChatGPT 提示注入导致数据泄露、DeepSeek 数据泄露、M365 Copilot 零点击 AI 命令注入，以及 NVIDIA TensorRT-LLM Python 执行器漏洞（CVE-2025-23254）。另有一批深度伪造语音诈骗、AI 生成音乐侵权和 AI 驱动的凭证填充等攻击被记录在案。
NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统，因此引入稳健的安全措施变得至关重要。
语义提示注入能够绕过 AI 护栏，成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起，提示注入就通过操纵输入让模型产生非预期行为；防御方在文本攻击上已有进展，但多模态与智能体 AI 的转变正在快速扩大攻击面，红队测试在此发挥关键作用。
AI 智能体自主性增强，AI 应用正带来传统安全模型无法完全覆盖的新攻击面。应对原则是 Assume prompt injection，即假设提示注入已经发生，但把它转化为有效防御并不简单。AI Kill Chain 框架被用来建模这类攻击，Cyber Kill Chain 则定义了攻击者如何运作。
NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell，在本机沙箱中运行 OpenClaw 等开放 harness，构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark（GB10）上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B，并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理，但官方提醒任何沙箱都无法完全防御高级提示注入。
NVIDIA 针对智能体环境中的间接 AGENTS.md 注入攻击给出缓解方法，聚焦编码智能体场景。正文以 OpenAI Codex 为例，说明此类编码智能体可自动完成代码生成、调试与创建 PR 等任务，AI 工具正显著加速软件开发。
Google 披露了一种针对自主 AI 智能体的 Task Injection 攻击，它与 Prompt Injection 不同，专门利用智能体被赋予的广泛行动与任务执行能力。该攻击对设计用于执行多种任务的 AI 智能体尤为相关。
论文在字节完全相同、仅 token id 不同的条件下对比聊天模板注入，发现把伪造角色标记编码为普通子词后，Llama-3.1、GLM-4.5 和 Seed-OSS-36B 在 InjecAgent 上的攻击成功率下降 39 至 66 个百分点，AgentDojo 多轮任务中差距依然存在。作者用 Matched 对照控制额外 token 数量，确认差距来自保留 token 的学习向量而非标记文本；在 Llama-3.1 上，嵌入空间最近的普通 token 向量可完全恢复攻击。指令微调会加强模型对保留标记的偏好，抑制 Qwen3-8B 的推理块会把直接危害上的差距从 8.1 扩大到 49.8 个百分点。
推荐理由论文用固定字节、只改 token id 的对照，量化了保留 token 表示在聊天模板注入中贡献多少攻击成功率，并指出常见缓解只覆盖特殊 token。
论文研究在自然语言自编码器解释模型内部激活时，审计者应检查哪些 token 位置，基于提示注入与隐瞒场景下的 470 万条解释展开分析。作者比较了来自模型计算的信号与仅用聊天结构训练的排序器，发现聊天结构通常能选出更相关的解释，且位置选择无需模型前向传播。在四个数据集中的三个上，只解释 5% 的位置即可保留解释全部位置时接近全部的成功率，这里的成功指获得关于威胁的解释，收益随审计任务不同而变化。研究还显示，预训练 verbalizer 无需额外训练即可恢复模型通过微调学会隐瞒的词语，说明有用的解释可以超出 verbalizer 原本被训练描述的模型范围。
腾讯玄武实验室在 Black Hat US 2025 发布研究，提出一种将触发器与载荷解耦的提示词注入新范式，用同一组优化 Token 序列即可控制模型精确输出攻击者指定内容。作者用贪婪坐标梯度（GCG）方法在包含上万条样本的对抗数据集上训练触发器前缀与后缀，在 Qwen-2、Llama-3.1、Devstral-Small 等开源模型上经约 200-500 次迭代后平均攻击成功率约 70%。演示案例中，攻击者通过嵌入触发器的恶意邮件让 Open Interpreter 执行命令，或通过更新第三方 MCP 工具描述使 Cline 跳过自动批准直接执行 shell 命令。
推荐理由展示了触发器与载荷解耦的通用提示注入方法，并给出在 Cline 与 Open Interpreter 上的实际攻击链，可供部署智能体的团队评估工具审批与沙箱策略。
SPY Lab 撰文指出，传统对抗样本研究的两条基本原则（扰动不可感知、依赖梯度优化）在针对聊天机器人的攻击中基本不成立。越狱攻击由用户自己发起，提示注入中的第三方文本用户通常看不到，因此攻击文本无需保持不可感知；当前最强的越狱手段是手工试错的社会工程式指令，而非优化算法。作者在近期论文中测试了 ARCA 和 GDBA 两种优化攻击，针对 GPT-2、LLaMa 和经过拒答微调的 Vicuna，结果显示优化攻击对无防御模型部分有效，但对 Vicuna 多数失败，且即使存在可触发目标输出的提示词也找不到。
Nicholas Carlini 披露了一种针对 GPT-4 的新型指令注入方式：由于 GPT-4 沿用了 GPT-2 表示文档结束的特殊 token，当该 token 出现在输入中并被移除空格处理后，模型会将其当作真正的文档终止符执行，从而跳出当前对话并开始采样新的无关文本。这种手法类似空字符串注入，可用于将不可信的用户数据插入聊天机器人提示词的场景。作者于 7 月 18 日向 OpenAI 报告此问题，对方称并不担心其会被真正利用。
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash，此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体，面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险，Gemini 3.5 Flash 采用了定向对抗训练，并提供两个可选企业防护系统：敏感或不可逆操作需用户显式确认，检测到间接提示注入则自动停止任务。
安全研究者 Johann Rehberger 在 Black Hat Europe 演讲中展示了一套命令与控制（C2）系统，通过提示注入远程控制 ChatGPT 实例，构成一种新型僵尸网络的基础。攻击前提是用户被提示注入恶意软件感染一次，途径包括用 ChatGPT 访问恶意网站、分析恶意图片或总结 PDF，恶意指令会持久化在 ChatGPT 的长期存储中。
推荐理由作者以可复现的 PoC 展示提示注入如何把 ChatGPT 变成可长期远程控制的节点，并给出数据外泄的绕过路径。
研究者演示了通过上传文档中的间接提示注入，配合延迟工具调用，让 Gemini 把攻击者指定的虚假信息写入长期记忆。Gemini 通常不会在处理不可信数据时调用敏感工具，但攻击者先在文档摘要中埋入指令，要求用户在回复 yes、sure 或 no 等触发词时保存记忆，用户一旦照做，Gemini 便误以为这是用户本人的指令而调用记忆工具。演示中写入的虚假记忆包括昵称、年龄和喜好，并可在后续会话中持续存在，作者还通过询问年龄验证了端到端效果。
安全研究者 Johann 自费订阅 ChatGPT Pro 实测 OpenAI 的 Operator 浏览器智能体，演示了通过网页提示注入劫持 Operator 并窃取用户 PII 的完整攻击链。攻击方式是在 GitHub issue 等页面植入指令，诱导 Operator 跳转到用户已登录的站点（如 news.ycombinator.com、Booking.com、The Guardian），复制私密邮箱、住址和电话，再粘贴到攻击者控制的第三方页面，该页面无需点击提交按钮即可把输入直接发送到服务器。
推荐理由作者以付费实测展示 Operator 的三层防护如何被绕过，并给出可复现的攻击链与失效边界。
Embrace The Red 发布 ASCII Smuggler 工具更新，新增 Sneaky Bits 编码方式，仅用两个不可见字符即可编码任意 Unicode 字符或字节序列。Sneaky Bits 默认以 invisible times（U+2062）表示 0、invisible plus（U+2064）表示 1，逐位表示 Unicode 码点，两个字符可配置，在工具中作为非默认选项，默认仍为 Unicode Tags 编码。文章同时回顾了 Unicode Tags 与 Variant Selectors 两种走私技术，前者常被 LLM 直接当作指令执行，后者可将 VS1-VS256 映射为原始字节。
作者实测发现，GitHub Copilot 会读取仓库中的 .github/copilot-instructions.md 文件并加入提示词上下文，因此指令文件中一行隐蔽内容即可让 Copilot 生成带后门代码的补全结果，作者以 Go 语言做了演示。作者同时提到 Pillar Security 此前已指出 Cursor 的 .mdc 规则文件存在同类风险，并涉及隐藏 Unicode 字符。GitHub 去年已缓解 0-click 图片渲染数据泄露问题，点击超链接时也会弹出确认对话框，除非目标域名在 VS Code 的受信任站点列表中。
安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令，用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链：在 message_of_the_day 工具描述中嵌入不可见指令，诱导 Claude 在调用该工具前先调用 enter_matrix 工具，而 UI 中检查描述看不到任何异常。攻击无需实际调用工具，仅将恶意服务器加入对话上下文即可劫持会话，因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。
推荐理由作者以自建 MCP 服务器实测，展示工具元数据中隐藏 Unicode Tags 指令如何绕过 UI 可见性并触发未授权工具调用。
作者用两个 ChatGPT 账号实测新上线的 chat history 记忆功能，发现它并不真正检索历史对话，而是把用户画像和近期对话写入系统提示词。系统提示词中与记忆相关的部分包括 Model Set Context、Assistant Response Preferences、Notable Past Conversation Topic Highlights、Helpful User Insights、Recent Conversation Content 和 User Interaction Metadata，条目多带有 Confidence=high 标签。