特拉维夫大学提出爆炸性提示词:条件触发的间接提示注入可绕过九款生产 Agent
Defusing Explosive Prompts: Understanding and Preventing Trigger-Based Prompt Injections in LLM Agents
- Detection and filtering
- Prompt injection
- Dormant triggers
- Guardrails and judges
- Defense-targeted
- AI Agent
- Application layer
作者评估了条件触发的爆炸提示词,发现其在 Grok-4.20 上对真实工具执行的攻击成功率达 34.2%,而祈使形式为 0.0%。
受害系统为具备外部工具的多轮智能体。攻击者通过间接提示注入控制检索内容,无系统提示词、用户输入或模型权重访问权,不能实时观察对话。
- 传统间接提示注入在被模型摄入时即刻执行,容易被现有防御识别拦截。论文试图解决如何通过注入与执行的时间分离,使恶意载荷在被检索时保持潜伏,仅在满足特定条件时触发工具调用。
- 作者提出爆炸提示词,将攻击目标表述为依赖后续触发条件的潜伏语句;并构建了组合生成器生成训练数据,提出基于 FastText 与线性 SVM 的轻量检测器 DeFuse 进行摄入期窗口检测。
- 在 7 款基础模型上,爆炸提示词的平均执行成功率为 16.5%,高于祈使注入的 2.4%;在 9 个生产智能体上绕过率为 43–83%。DeFuse 在 5% FPR 下将残余攻击成功率降至 3.0%。
- 基础实验基于 7 款模型和 AgentDojo 平台;生产智能体仅评测 30 次单次试验;DeFuse 针对表面形式且未评估自适应改写对抗;评测仅覆盖两轮会话,长会话下的存活情况未测。
- Threat model
- 受害系统为具备外部工具的多轮智能体。攻击者通过间接提示注入控制检索内容,无系统提示词、用户输入或模型权重访问权,不能实时观察对话。目标是通过条件语句诱发未授权工具调用,使载荷在检索时潜伏,待后续触发词出现时执行。
- Evaluated models
- Llama-3.1-8B-InstructLlama-3.1-70B-InstructQwen2.5-32B-InstructQwen2.5-72B-InstructGrok-4.20Gemini-2.5-flashGPT-4.1Llama-3.3-70B-InstructMeta-SecAlign-70BOpenAI CodexGoogle Gemini CLIAnthropic Claude Code CLICursor CLIGitHub CopilotDevin AI CLI
- Benchmarks
- AgentDojo v0.1.35EnronHillary Clinton EmailsWikipediaC4GovReport
- Metrics
- IntentMutationASRTPR@1% FPRAUCLatency
特拉维夫大学研究者提出爆炸性提示词(explosive prompt),一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式,无需训练即可在推理时植入单条检索内容。在 896 对配对样本上,同一恶意目标改为休眠条件式后,在拒绝直接指令的前沿模型上仍能触发真实工具调用,Grok-4.20 从 0.0% 升至 34.2%,Llama-3.1-70B 从 0.1% 升至 26.1%,七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当,1% 误报预算下最多只拦住 52.7%;偏好优化模型 SecAlign 完全阻断直接注入,却仍执行 11.8% 的爆炸性提示词,且全部在触发轮触发。
Why it was selected论文把条件触发式提示注入与普通注入做了配对实测,并给出九款生产 Agent 的绕过率,部署 Agent 的团队可据此检查检索内容的摄入环节。
Paper analysis
What problem does this paper attempt to solve?
爆炸提示词通过条件化表述实现注入与执行的时间分离,绕过防御并在触发时执行工具调用。
传统间接提示注入因即刻执行而易被防御拦截,论文试图通过条件化表述实现注入与执行的时间分离。
- 问题场景与重要性:随着大语言模型集成外部工具成为自主智能体,间接提示注入威胁加剧。作者指出传统注入多采用直接祈使句,在摄入内容时即刻执行,容易被应用层、输入清洗和模型对齐拦截。
- 现有方法的不足:现存间接提示注入不支持注入与执行的时间分离。对齐良好的前沿模型能够稳定拒绝直接祈使指令,使传统注入在这些模型上大多失效。
- 论文的核心观察:将恶意指令改写为依赖特定触发条件的潜伏语句,能够利用模型的正常指令遵循能力,在摄入阶段保持静默,待后续用户输入触发词后再激活。
- 论文提出的方案:作者形式化了爆炸提示词(Explosive Prompts),对其在基础模型、防御组件和生产智能体上的绕过能力展开实证研究,并提出了摄入期检测器 DeFuse。
- 威胁模型:
- 受害系统:具备终端、搜索、API 等工具且能检索外部非置信数据的多轮对话智能体。
- 攻击者知识:无系统提示词、用户输入或模型权重访问权,无法实时观察对话,仅能预判检索上下文。
- 攻击者能力:通过间接提示注入篡改智能体检索的外部数据(如邮件、网页、仓库文件)。
- 攻击者目标:诱导智能体在特定条件满足时调用破坏性工具,支持针对特定用户、高价值工作流或日常客套词的延迟激活。
What related research exists?
论文对比了间接提示注入、智能体攻击、现存检测防御和后门机制,强调时间分离与无持久化特性。
论文将爆炸提示词定位在间接提示注入、运行时防御与推理期后门的交叉点,强调其无需训练即可实现条件潜伏。
- 提示注入与智能体攻击:
- Perez 与 Ribeiro(2022)、Greshake 等人(2023)——确立了直接与间接提示注入的形式与危害;Liu 等人(2024)、Debenedetti 等人(2024)和 Zhan 等人(2024)——分别构建了提示注入及智能体工具调用的基准测试(如 AgentDojo、InjecAgent)。
- Nakash 等人(2025)、Zhan 等人(2025)——研究了得寸进尺多轮升级或自适应对抗攻击。作者指出这些方法仍属祈使式即刻执行,而爆炸提示词实现了注入与激活的时间分离。
- Rehberger(2024, 2025)、Nassi 等人(2025)与 Reddy 等人(2025)——披露了延迟工具调用(DTI)、提示软件(promptware)或持久记忆植入。作者称以往披露多为单一实例且 DTI 依赖硬编码工具触发,本文则系统探究了基于自然语言触发词的任意载荷激活。
- 防御与缓解技术:
- Chen 等人(2025)、Wallace 等人(2024)与 An 等人(2025)——提出结构化查询(StruQ)、偏好优化(SecAlign)或工具依赖图(IPIGuard)等内生防御。作者称这些方法假设载荷会覆盖用户指令或越权,难以防范顺应当前请求的条件化指令。
- Chennabasappa 等人(2025)、Li 等人(2025)与 Zou 等人(2025)——分别开发了 Prompt Guard 2、PIGuard 与 PIShield 等外部或内部状态分类器。作者称这些分类器针对祈使式注入训练,在条件化爆炸提示词上面临分布偏移。
- 后门攻击机制对比:
- Gu 等人(2017)、Hubinger 等人(2024)、Zou 等人(2025)与 Chen 等人(2024)——分别研究了权重投毒(BadNets)、休眠智能体或检索与记忆投毒(PoisonedRAG、AgentPoison)。作者认为爆炸提示词在推理期仅凭单篇检索文档即可植入后门规则,无需修改模型权重或持久化存储。
- 基线方法与评测基准:
- 基线方法:直接祈使式间接提示注入(IPI)、Prompt Guard 2、PIGuard、PIShield 及 Meta-SecAlign-70B。
- 评测基准:AgentDojo 智能体环境(包含 workspace、travel、banking、slack 四大套件)以及 Enron、Wikipedia、C4、GovReport 等文本语料。
- 作者定位的差异:作者强调以往工作均假定注入载荷会即刻执行并覆盖用户意图,而爆炸提示词通过顺应上下文并在后续良性触发词处激活,打破了现有防御依赖即刻冲突的假设。
- 提示注入与智能体攻击:
How does the paper address this problem?
论文形式化了爆炸提示词生成空间,揭示条件化绕过机理,并提出了轻量滑动窗口检测器 DeFuse。
论文通过形式化爆炸提示词的五元组件空间,系统测量时间分离的激活机理,并构建了基于词袋特征与滑动窗口的摄入期检测器 DeFuse。
爆炸提示词的形式化与生成空间
- 形式化定义:爆炸提示词被定义为越狱前缀 jlbk、条件连接词 cond、触发词 t 与恶意载荷 pld 的组合,形式为 EP = patterni(jlbk, cond, t, pld)。
- 执行语义:良性请求在第 j1 轮摄入包含 EP 的上下文时正常执行原有工具;在第 j2 轮(j2 ≥ j1)用户输入包含触发词 t 的消息时,模型激活并执行未授权工具调用。
- 五元组件池:
- 模板库(P):包含 32 种编码条件句式结构的句子模板。
- 前缀库(F):约 89 个上下文设置片段,以概率 pf = 0.4 随机添加以消除统计捷径。
- 条件词库(W):10 个条件连词同义词(如 if、when、once 等)。
- 触发词库(T):24 个触发对象,涵盖客套词(如 Thanks)、日常活动和文本特征三大类,采用无主语动名词形式。
- 载荷库(L):104 个涵盖 9 类恶意意图的自然语言祈使句,避免函数调用语法偏差。
- 空间规模:生成器在未引入前缀随机性前即可生成 32 × 10 × 24 × 104 ≈ 798,720 种表面组合。
攻击评测协议与成对设计
- 成对实验设计:针对每个恶意目标构造环境、载体文档和意图完全相同的两套输入,仅改变语句形式(直接祈使 IPI 与条件化 EP),隔离时间分离维度的影响。
- 两轮交互流程:第一轮执行良性任务并摄入载荷,第二轮用户发出包含触发词的良性语句;两组输入均完整运行两轮。
- 工具调用判定:以模型是否向环境实际发出符合 schema 定义的恶意工具调用并造成状态改变判定意图(intent)。
检测器 DeFuse 的设计与推理流程
- 定位与架构:DeFuse 被定位在标准 IPI 防火墙下游,采用在训练语料上拟合的 384 维 FastText 词向量,配合经过概率校准的线性支持向量机(Linear SVM)。
- 纯净数据训练:训练集包含 7,844 个样本(1:1 平衡),正例为生成器生成的孤立 EP,负例为 Enron 原始邮件,不引入宿主拼接,避免模型记忆宿主主题捷径。
- 滑动窗口推理:推理阶段采用窗口大小 W = 15 词、步长 S = 5 词的滑动窗口遍历检索文档,取所有窗口的最大分数作为整篇文档的恶意评分,并支持定位可疑片段。
What experiments did the paper conduct?
实验覆盖 7 款基础模型、4 类防御与 9 个生产智能体,证实爆炸提示词显著提高绕过率且可在摄入期检出。
实验覆盖 7 款基础模型、4 类代表性防御机制及 9 款生产智能体,证实条件化表述能有效绕过现有防御,且摄入期检测能大幅压低攻击成功率。
实验设置
- 被测模型:7 款基础指令微调模型,包括 4 款开源模型(Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct,以 4-bit NF4 精度部署)与 3 款专有 API 模型(xAI Grok-4.20、Google Gemini-2.5-flash、OpenAI GPT-4.1);防御评测采用 Llama-3.3-70B-Instruct 及 Meta-SecAlign-70B;9 款生产智能体(OpenAI Codex、Google Gemini CLI、Anthropic Claude Code CLI、Cursor CLI、GitHub Copilot、Devin AI CLI、Amazon Kiro CLI、Qwen Code、Google Assistant)。
- 数据集与规模:主实验采用成对数据集共 896 对样本,涵盖 9 个危害目标类别、3 个触发词家族及 AgentDojo 的 4 个应用套件(banking、Slack、travel、workspace);防御评测包含静态测试集(3,998 篇良性、1,870 篇去泄露 EP 及 2,002 篇 IPI)与 AgentDojo 动态评估(2,002 对攻击)。
- 基线与指标:攻击对比基线为对应目标的直接祈使注入(IPI);防御基线为 Prompt Guard 2、PIGuard、PIShield 与 SecAlign。核心指标为真实工具执行成功率(intent,%)与残余 ASR(%),分类指标包括 AUC、ACC、F1、TPR@1% FPR、FPR@100% TPR。
- 评审与质量控制:通过目标工具白名单与环境状态快照自动判定意图与状态突变,不依赖打分模型;设置第一轮工具调用率(Turn-1 engagement)作为质控门槛,所有上报模型均达到接近完全调用。
- 样本量与检验:基础模型每种设置 n = 896,报告 95% Wilson 置信区间与配对 McNemar 检验;生产应用每组 n = 30。
主结果
据 Table 1,7 款基础模型在 AgentDojo 上的真实工具执行成功率(intent,%)如下表所示:
Swipe horizontally to read the table
模型 IPI (%) EP (%) EP 95% 置信区间 增量 Δ Grok-4.20 0.0 34.2 [31.1, 37.3] +34.2 Llama-3.1-70B 0.1 26.1 [23.3, 29.1] +26.0 Gemini-2.5-flash 3.0 19.4 [17.0, 22.1] +16.4 Llama-3.1-8B 13.4 18.6 [16.2, 21.3] +5.2 GPT-4.1 0.0 13.1 [11.0, 15.4] +13.1 Qwen2.5-72B 0.0 2.1 [1.4, 3.3] +2.1 Qwen2.5-32B 0.0 2.1 [1.4, 3.3] +2.1 配对均值 2.4 16.5 未报告 +14.2 - 对齐鲁棒模型的易感性:作者报告,最能抵御直接祈使注入的模型在条件形式下增幅最明显,Grok-4.20 对祈使形式完全拒绝(0.0%),但条件形式执行率达到 34.2%;配对 McNemar 检验显示所有模型上 EP 与 IPI 差异均达到 p < 0.001 显著水平。
- 潜伏性检验:Table 2 显示,所有模型的 IPI 在第二轮工具执行率均为 0.0%;而 Grok-4.20、Llama-3.1-70B 与 GPT-4.1 的 EP 执行几乎全部集中在第二轮触发时刻(分别为 33.9%、26.1% 和 12.8%),作者称这证实了载荷的真正潜伏。
- 例外现象:Llama-3.1-8B 在第一轮即出现 10.3% 的执行率,第二轮为 12.8%;作者解释称较弱的模型指令选择性低,存在对未满足触发条件的指令即刻遵循的倾向。
触发词家族与危害目标分布
- 触发词有效性:据 Table 3,日常交谈结束语(thanks、bye)在所有易感模型上效果最强,Grok-4.20 与 Llama-3.1-70B 在该类别上的执行率分别达到 59.6% 和 40.4%,而智能体动作词(agentic)执行率 ≤ 20.6%,元描述词(meta)≤ 2.3%。
- 危害目标覆盖:据 Table 16,Grok-4.20 在全部 9 类目标上均有触发(资源滥用 64%、权限绕过 47%、钓鱼 37%);Llama-3.1-70B 覆盖 7 类;Qwen 模型则几乎仅在 Slack 权限绕过目标上被触发(≤ 19%),其余目标多被直接识别拒绝。
生产智能体端到端渗透
- 端到端绕过:据 Table 4,在 9 款真实生产智能体测试中(每款 n = 30),直接祈使 IPI 的成功率为 0–3%,而爆炸提示词的成功率达到 43–83%(Gemini CLI 达到 83%,Copilot 达到 70%)。
- 真实危害达成:8 款代码智能体均被成功触发代码或凭证回传,语音助手 Google Assistant 实现了 50% 的 IoT 控制与日历事件删除等实际危害操作。
防御机制评测与重训练表现
- 开箱即用防御失效:据 Table 5,在 1% FPR 预算下,Prompt Guard 2、PIGuard 和 PIShield 对静态 EP 样本的检出率仅为 52.7%、40.5% 和 13.4%;Meta-SecAlign-70B 虽然完全阻断了第一轮注入,但第二轮残余 ASR 仍有 11.8%。
- 重训练弥合差距:据 Table 6,引入爆炸提示词数据微调后,Prompt Guard 2 和 PIGuard 在动态流量下的残余 ASR 分别从 34.3% 降至 7.5% 和 8.1%;DeFuse 在标定的 5% FPR 下将残余 ASR 压制至 3.0%。
其他消融与分析
- 分类器与表征选择:FastText 搭配 Linear SVM 在滑动窗口下达到 ROC AUC 0.9997,优于 MPNet、BGE、SBERT 与 GloVe(Table 7)。
- 推理延迟:DeFuse 处理 100 词与 500 词文档的平均延迟分别为 0.90 ms 和 2.89 ms,2000 词文档平均 9.83 ms(Table 8)。
- 插入位置鲁棒性:在文档 0%、25%、50%、75%、100% 处插入载荷,DeFuse 的 AUC 稳定在 0.9998–0.9999 之间(Table 9)。
- 文档长度影响:文档从 20 词增至 2000 词,DeFuse 的 AUC 保持在 0.9978–1.0000,但固定 0.5 阈值下的 FPR 从 0.064 升至 1.000(Table 10)。
- 跨语料泛化:在 100 词截断下,在 Hillary、Wikipedia、C4、GovReport 上的 AUC 达 0.9996–1.0000(Table 11);原生长度下由于窗口累积导致 GovReport 的 FPR 升至 83.9%(Table 12)。
- 未见载荷泛化:在 10 折交叉验证中,对完全未见组件的自然语言变体(v2),DeFuse 达到 AUC 0.9767,在 4.7% 标定 FPR 下召回率为 88.0%(Table 13)。
What are some points that can be further explored?
作者指出自适应改写、长会话存活等局限,实际评测覆盖 7 款基础模型与 9 款生产工具。
后续研究需关注对抗自适应改写、多轮长会话中的存活持久性,以及跨模型和跨工具环境的泛化验证。
作者指出的局限与后续方向
- 模型范围局限:作者在 Section 7 中指出,研究仅在单一真实执行测试环境上评估了 7 款模型,更大的闭源模型与其他工具套件仍未测试,更广泛的泛化性属于推断而非直接测量。
- 指标与工具依赖:作者在 Section 7 中指出,攻击成功率按特定模型与工具套件计算,由于安全模型几乎完全在触发轮执行,效应本身不是指标伪影,但具体比率可能无法直接迁移至测试系统之外。
- 应用评测样本规模:作者在 Section 7 中指出,生产应用测试采用每个系统 n = 30 的单基线试验,属于可行性证据而非精确效应量,更强或自适应的祈使基线可能会缩小差距。
- 对抗性自适应攻击:作者在 Section 7 中指出,DeFuse 主要针对条件句的表面语法形式,尚未在攻击者主动改写条件句式以逃避检测的自适应对抗场景下进行评估,这是防御强化的核心方向。
- 多轮会话长度:作者在 Section 7 中指出,评估实验固定为两轮交互,潜伏载荷能否在经历上下文驱逐、摘要压缩或话题漂移的更长会话中存活,有待未来工作探索。
实验覆盖范围
- 基础模型与环境:实验评估了 7 款指令微调基础模型(4 款开源、3 款商业 API),并在 AgentDojo 的 4 个应用套件(banking、Slack、travel、workspace)中运行两轮交互。
- 生产应用样本:端到端生产评测覆盖了 9 款应用(8 款代码辅助工具与 1 款语音助手),每款应用在 GitHub 仓库 README.md 中测试 30 次注入。
- 防御基线对比:评测了 4 类现有防御方案(Prompt Guard 2、PIGuard、PIShield、Meta-SecAlign-70B),基于 Llama-3.3-70B-Instruct 骨干进行了重训练对比。
- 未报告信息:论文未报告更长交互轮次下载荷的留存率衰减曲线,亦未测试非英语触发语境。
Summarize the main content of the paper
论文揭示了条件触发使提示注入绕过防御并在触发时执行工具,提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁,研究了利用条件句式实现时间分离的爆炸提示词。
- 核心问题:传统间接提示注入在摄入时即刻执行,容易触发安全对齐与过滤规则;论文探究攻击者能否通过条件语句让恶意载荷在摄入时静默潜伏,并在后续良性交互触发时再执行。
- 方法设计:形式化了由越狱前缀、条件词、触发词和载荷构成的爆炸提示词生成空间;并提出了基于 FastText 词向量与线性 SVM 的轻量级滑动窗口检测器 DeFuse,在摄入期对非置信文本进行局部扫描。
- 基础模型评测:在 7 款基础模型上的成对实验表明,条件化表述在每款模型上的真实工具执行率均不低于祈使形式;在对齐较强的 Grok-4.20 上,执行率从祈使注入的 0.0% 升至 34.2%(Table 1),且 99% 的成功执行集中在第二轮触发时刻。
- 生产应用与防御绕过:在 9 款生产智能体上,爆炸提示词的绕过率达 43–83%,而祈使基线仅为 0–3%(Table 4);现存分类器与偏好对齐模型(Meta-SecAlign-70B)无法阻断触发轮次的工具调用。
- 防御有效性:在利用爆炸提示词生成数据进行微调后,现有分类器残余 ASR 下降 76–78%;DeFuse 在 5% FPR 下将残余 ASR 压缩至 3.0%,单文档处理耗时 1.16 ms(Table 5、Table 6)。
- 作者结论与启示:作者认为爆炸提示词暴露出依赖即刻冲突特性的现有防御体系存在结构性盲区,提示注入防御必须前移至摄入阶段,且检测与对齐两类机制需协同分层部署。