Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.16958· Xinhao Deng, Jiaqing Wu, Miao Chen, Yue Xiao, Ke Xu, Qi Li·Indexed by this site · Originally publishedSelectedAttention58

Automating agent hijacking via structured template injection

Automating Agent Hijacking via Structural Template Injection

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

Phantom用结构化模板注入劫持LLM智能体，AgentDojo上八个模型平均ASR为79.76%。

Threat model远程black-box对手可向网页、邮件或API响应注入任意内容；无权重、梯度、系统提示与执行轨迹，不知chat template。

Questions
间接提示注入多靠手工语义操纵。作者称经RLHF的模型对明显指令违背更稳健，且语义载荷跨模型迁移差。智能体靠chat template分隔角色，但控制标记与检索内容最终在同一token流中，边界可被构造序列模糊。
Methods
收集78个公开模板，经语义改写和字符级规则扩充。Qwen3-0.6B上的Template Autoencoder把模板映到连续空间，再用随机森林与Expected Improvement做贝叶斯优化。代理评测用虚构对话轮次估计角色混淆。
Experiments and results
AgentDojo上Table 12八个模型的Phantom平均ASR为79.76%，Gemini-2.5-Flash为38.77%。三个基线合计为54.09%、39.86%、38.46%（第6.2节）。942个商业智能体中报出70个漏洞。
Limitations and future work
作者把范围限定在文本交互，并称black-box下不知模板；内部人员若有训练数据可能做出更强载荷。查询迭代可能受速率限制或异常检测影响，指标不覆盖长对话中的持久性。后续包括架构隔离、形式化解析器、多模态与专用基准。
Experimental setupQwen3-Max、Qwen-Flash et al. · AgentDojo · ASR、Utility
Threat model
远程black-box对手可向网页、邮件或API响应注入任意内容；无权重、梯度、系统提示与执行轨迹，不知chat template。仅query access，按可观察输出迭代。成功指输出满足攻击者目标且不同于用户目标。假设目标采用SOTA safety alignment。
Evaluated models
Qwen3-MaxQwen-FlashGPT-4oGPT-4.1-MiniGPT-4.1Gemini-2.5-FlashGemini-3-FlashDeepSeek-V3.2Qwen3-8B
Benchmarks
AgentDojo
Metrics
ASRUtility
AI summaryand selection rationaleThe researchers propose Phantom, an automated agent hijacking framework based on structured template injection, achieving a 79.76% average attack success rate against seven closed-source agents on AgentDojo. The method injects special tokens and separators from chat templates into external content retrieved by the agent, forging conversation history and inducing role confusion so that the agent treats injected content as legitimate user instructions or previous tool outputs, thereby bypassing defenses that mainly rely on semantic alignment. To search templates under black-box conditions, the authors first build a seed pool via multi-level template augmentation, train a Template Autoencoder based on Qwen3-0.6B to map templates into a continuous latent space, and then use Bayesian optimization to find high-success-rate templates. In a large-scale test on 942 commercial agents, the authors report discovering over 70 vulnerabilities, including CVE-2025-6***4 in the MCP integration of an open-source framework and a privilege escalation against the Agentbay cloud platform, and state that all were confirmed by vendors under responsible disclosure processes.

The researchers propose Phantom, an automated agent hijacking framework based on structured template injection, achieving a 79.76% average attack success rate against seven closed-source agents on AgentDojo. The method injects special tokens and separators from chat templates into external content retrieved by the agent, forging conversation history and inducing role confusion so that the agent treats injected content as legitimate user instructions or previous tool outputs, thereby bypassing defenses that mainly rely on semantic alignment. To search templates under black-box conditions, the authors first build a seed pool via multi-level template augmentation, train a Template Autoencoder based on Qwen3-0.6B to map templates into a continuous latent space, and then use Bayesian optimization to find high-success-rate templates. In a large-scale test on 942 commercial agents, the authors report discovering over 70 vulnerabilities, including CVE-2025-6***4 in the MCP integration of an open-source framework and a privilege escalation against the Agentbay cloud platform, and state that all were confirmed by vendors under responsible disclosure processes.

Why it was selectedThe paper provides cross-model attack success rates for structured template injection and real-world product vulnerability disclosure results, which teams deploying agents can use to check template parsing and tool output sanitization.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    语义型间接注入难迁移，Phantom改打chat template的角色边界来劫持black-box智能体。

    语义型间接提示注入对闭源智能体成功率低、难迁移，论文要自动利用chat template的角色边界劫持智能体。

    • 场景：作者称智能体可执行代码、查库并调用外部API，OWASP把Agent Goal Hijacking列为LLM应用的首要威胁。对手若把智能体从用户任务导向攻击者目标，得到的是对所连系统的操作控制。
    • 现有不足：主流仍是间接提示注入，把自然语言指令嵌进检索内容。作者称RLHF后的模型对明显指令违背更稳健，且语义利用跨模型迁移差，为GPT-4o写的提示在Gemini上会变差或失败。
    • 核心观察：智能体用chat template特殊token分隔System、User、Tool、Assistant，但这些标记不在token层做严格隔离。作者认为控制指令与不可信数据被串成单一token流后，构造的分隔序列可以模糊指令与内容的边界。
    • 本文做法：提出Phantom，向检索上下文注入结构化模板，伪造助手回复和用户查询，诱发角色混淆。搜索端用多级模板增强、Template Autoencoder和贝叶斯优化，只靠API级查询。
    • 威胁模型：
      • 目标：输出满足攻击者目标且不同于用户目标；文中后果包括权限提升、数据外泄和任意工具执行。
      • 知识：remote black-box。无权重、梯度、内部系统提示词、执行轨迹，也不知道目标的chat template。
      • 能力：向网页、邮件或API响应注入任意内容；仅query access，按可观察输出迭代。不破坏底层基础设施。
      • 受害系统：检索外部数据并调用工具的LLM智能体。作者假设目标采用SOTA safety alignment，攻击绕过的是解析边界，而不是在语义上压过对齐。

  2. What related research exists?

    作者把本文放在间接提示注入上，并称既有结构攻击依赖内部细节、难迁移。

    直接提示注入与相邻攻击

    • 相邻类别：第8节把提示注入与对抗样本、越狱分开。对抗样本要降低性能，越狱要引出有社会危害的输出；提示注入要控制LLM输出和智能体行为。
    • Perez等（2022）：迭代组合对抗提示。论文转述其结果为，简单手工输入可使GPT-3发生目标劫持和提示泄露。
    • Toyer等（2023）Tensor Trust：大规模人工提示注入基准。论文转述其称手工策略可跨模型和应用泛化。作者自己的批评是：直接注入依赖攻击者能改系统提示，输入校验、安全对齐和限制系统提示访问通常可以缓解，因此攻击逐渐转向间接注入。

    间接提示注入

    • Greshake等（2023）与Jiang（2024）：把注入放进网页等第三方内容，再与LLM智能体一起执行，可产生符合攻击者意图的面向用户响应。
    • InjecAgent（Zhan等，2024）：评测工具集成智能体对间接提示注入的脆弱性。论文在相关工作中只作介绍，附录D把它当作一种语义载荷。
    • ChatBug（Jiang等，2025）与ChatInject（Chang等，2025）：前者替换特殊token以绕过对齐和既有防御；后者把载荷格式化成原生chat template，并给出说服驱动的多轮变体。作者称这些工具依赖智能体先验和内部细节，换环境或换LLM后效果差。

    文中提到的防御

    • 语义侧：作者称语义劫持仍可能被Safety Alignment和Context Filtering缓解。直接注入的防御还提到输入校验、限制系统提示访问，以及StruQ、SecAlign；这些不是本文主实验基线。
    • 实验对应：Delimiter Spotlighting对应低延迟的提示约束；Tag Filter剥离工具输出中的类XML控制标签；Injection Detector是微调的DeBERTa-v3分类器。

    基线与基准

    • 基线方法：Semantic-Injection（附录D的Important Instruction；作者称在所评语义变体中ASR最高）、Single-Template（用Qwen3、GPT-OSS、Gemma3的官方chat template作结构代理，打Qwen、GPT、Gemini闭源系列）、ChatInject。载荷语义与Phantom对齐，以比较注入结构。
    • 基准：AgentDojo。四个域为Workspace、Travel、Slack、Banking，含97个合法用户任务和629个对抗安全测试用例。

    作者认为现有攻击打的是语义行为，而不是对话处理的架构机制。贡献中作者称，TAE加隐空间贝叶斯优化是首个自动化发现跨模型结构注入、且在语义对齐下仍然有效的框架。

  3. How does the paper address this problem?

    Phantom先扩充模板，再用TAE映到连续空间，以贝叶斯优化搜索结构注入。

    Phantom把离散模板搜索变成连续隐空间上的贝叶斯优化：注入结构标记，提前结束工具帧并伪造助手回复与用户查询，使检索内容被当成已发生的对话。

    问题设定与角色混淆

    • 注入位置：对手把载荷放进智能体将检索的第三方数据。tokenizer把注入内容与真实上下文展平成同一序列后，作者称模型会把伪造历史当成合法指令或自己先前的工具输出。
    • 成功定义：给定智能体A、用户查询q及其目标，以及对抗输入，成功写作A(q, xadv)=oadv，且该输出满足的目标不同于用户目标。作者假设目标已有SOTA safety alignment。
    • 与语义越狱的差别：不靠说服模型违反安全准则，而打解析逻辑。Figure 2的作者解读是，相对直接注入，结构模板把注意力从真实内容移到伪造的助手回复和用户查询；图中具体权重文本未给出。
    • 观察：第4.1节称，开发者指望智能体自己生成结构模板来分角色、定工具策略；面对外部伪造模板时，模型可能分不清系统生成的控制信息与外部注入的控制信息。闭源模型通常不公开模板。

    多级模板增强

    • 种子：从公开来源收集78个canonical模板。语义阶段用4-shot，每次抽4个模板作示例，查询Qwen-Flash和DeepSeek-V3.1改写；变体须保留核心槽位和交互骨架。相似度去重后得到3833个语义上不同的模板。附录F给出完整提示词。
    • 字符级：Algorithm 1用独立Bernoulli试验（p=0.1）施加六类规则：边界换行、空白规范化、非分隔段大小写、分隔符替换、转义字符、以及对片段做JSON/HTML/URL编码。语料扩到超过20000条，再按长度上限剔除并去重。论文未给出该长度上限的数值。
    • 作者给出的理由：LLM擅长释义，但对影响解析的细符号不敏感；确定性规则补这一层。

    Template Autoencoder

    • 骨干与数据：Qwen3-0.6B，LoRA微调注意力投影。训练集约18000条，验证集约2000条，训练50个epoch，按验证损失早停。模板是三元组：欺骗性工具调用终止、伪造助手回复、伪造用户查询，用起始、分隔和结束标记串起来。
    • 映射：编码器取尾部起始标记的隐状态，线性压到低维向量；该层用恒等激活，作者称优于ReLU或Tanh。解码器把向量扩回原维，作为自回归初始状态重建模板。解析失败的重建给目标函数最差惩罚。
    • 作者称的流形性质：局部连续、几何邻近对应句法模式相近，并用NMI对照人工结构类别；文中未给出NMI数值。维度远小于模板最大长度，从而避开词表长度上的组合爆炸。

    贝叶斯优化与代理评测

    • 代理评测：Algorithm 2不在搜索时执行恶意载荷。模型被要求用轮次标记作前缀；模板注入声称模型已经输出过更后一轮。输出含更后一轮标记记为接受伪造历史，停在应有轮次记为拒绝，两种标记都没有则丢弃。温度τ=0。每个文档位置试5个载荷变体，分数为成功次数除以计入的总次数。
    • 优化：随机森林作代理模型，作者称其相对高斯过程更能处理非平稳、在高维也更省计算。采集函数为Expected Improvement。种子模板经TAE编码后作热启动，搜索限制在数据驱动的边界内。解码温度τ=0。实验预算为100次迭代，超参经网格搜索确定。
    • 部署：最优隐向量解码成结构模板，注入检索上下文。附录B另有lightweight变体，用代理分数代替对目标的直接反馈，再在Workspace上从20个高分模板里按任务选ASR最高者。

  4. What experiments did the paper conduct?

    Table 12四场景平均ASR：Phantom为79.76%，Gemini-2.5-Flash为38.77%。

    实验设置

    • 被测模型：Qwen3-Max、Qwen-Flash、GPT-4o、GPT-4.1-Mini、GPT-4.1、Gemini-2.5-Flash、Gemini-3-Flash、DeepSeek-V3.2。Table 12与附录写作Gemini-3-Flash-Preview；Table 2的Gemini-3-Flash与Table 10的Gemini-3-Flash-Preview在无防御Workspace上Phantom同为72.73%。注意力分析另用Qwen3-8B。
    • 基准：AgentDojo四个域，97个合法任务、629个对抗测试用例。每条样本是嵌有注入载荷的用户任务。
    • 基线：Semantic-Injection、Single-Template、ChatInject。附录D另比较TODO、Ignore Previous、System Message、Injecagent、Important Instruction。
    • 指标：ASR是触发目标恶意结果的对抗样本百分比；Utility是存在对抗扰动时仍完成的用户任务比例，沿用AgentDojo。论文未说明ASR由哪个评审模型判定。
    • 实现：Python 3.12、PyTorch 2.9.1、transformers 4.57.3、一块RTX 4090；78个标准模板；scikit-optimize 0.10.2，预算100次迭代。主实验默认关闭thinking。附录C称Gemini-3-Flash-Preview不能完全关闭，分配了最小thinking budget，论文未给出该数值。
    • 防御：只在Workspace。Delimiter Spotlighting、Tag Filter、微调DeBERTa-v3的Injection Detector。论文未报告检测器阈值、微调数据和主实验重复次数。

    主结果

    据Table 12，四个场景平均ASR（%）。Important Instruction即第6.2节的Semantic-Injection。

    Swipe horizontally to read the table

    模型InjecagentImportant InstructionPhantom
    Qwen-Flash9.44%29.71%79.67%
    Qwen3-Max5.01%49.70%78.32%
    Deepseek-V3.25.05%77.79%91.84%
    GPT-4o3.36%27.14%81.96%
    GPT-4.1-mini5.77%53.96%86.35%
    GPT-4.12.61%40.59%90.46%
    Gemini-2.5-Flash2.89%36.52%38.77%
    Gemini-3-Flash-Preview0.89%3.50%90.69%
    • 摘要把79.76%写成七个闭源智能体的平均；Table 12的Average 79.76%含Deepseek-V3.2，共八个模型。第6.2节另给出合计平均：Single-Template 54.09%，ChatInject 38.46%，Semantic-Injection 39.86%。附录D称Phantom比Important Instruction的平均ASR高出39.9%。
    • 作者称安全对齐主要过滤语义注入，结构操纵仍能作用；并称Gemini-2.5-Flash在复杂场景中指令遵循有限，会妨碍复杂载荷执行。Figure 4的柱高文本未逐项给出。
    • 作者称能力与结构注入易感性正相关，并称为capability curse：GPT-4.1的ASR高于GPT-4o；Workspace里Qwen3-Max、GPT-4.1高于对应轻量模型。Table 2无防御Phantom：Qwen3-Max 67.53%、Qwen-Flash 55.84%，GPT-4.1 75.97%、GPT-4.1-Mini 67.53%。同表ChatInject在GPT-4.1与Gemini-2.5-Flash为0.00%，Single-Template在Gemini-2.5-Flash为0.00%；作者未解释这些零值。

    对防御的评测

    • 测了什么：Workspace上三种防御的ASR（Table 2）和Utility（Table 3）。
    • 结果：Delimiter Spotlighting下，GPT-4.1的Phantom为76.62%，Semantic-Injection为12.99%。Tag Filter下Qwen-Flash的Phantom为50.00%，Semantic-Injection为9.74%；作者称高出40个百分点以上。Injection Detector下GPT-4.1的Phantom从无防御75.97%到18.18%，Gemini-2.5-Flash为2.60%。该检测器下GPT-4o的Phantom Utility为15.58%（Table 3）。
    • 作者的解读：智能体更服从chat template的结构标记，而不是系统提示中的语义指令；静态标签过滤会被混淆变体绕过；语义检测器压低ASR，但作者称难以区分复杂良性指令与结构利用，并带来效用下降。

    真实部署与案例

    • 规模：942个商业级智能体。第6.4节称识别出70个不同漏洞，摘要称超过70个。载体包括图像元数据、网页内容和代码仓库。作者列出的后果包括任意命令执行、递归工具调用造成的资源耗尽、敏感数据外泄。论文未报告分类型计数。作者称已负责任披露并得到确认。
    • MCP：OpenHands（67.4k stars）与AutoGen（54.2k stars）做网页检索时，作者称MCP把原始内容与内部chat template一并送给模型、缺少清洗，从而可覆盖智能体的认知逻辑。标识为CVE-2025-6***4。
    • Agentbay：模板注入高流量网页评论区；智能体做摘要时执行流被劫持。作者称攻击者获得关联云桌面实例的控制。厂商已核实。论文未报告该案例的ASR。

    结构利用的注意力分析

    • 测了什么：Qwen3-8B上，Phantom成功而朴素语义注入失败的子集。扰动包括强制拆token、HTML括号编码、去括号、去掉整个模板。指标是生成目标tool call的概率，以及末token对攻击载荷和用户提示的平均注意力（Table 4）。
    • 结果：原模板概率100.00%，注意力10.82对6.87。强制拆token为99.99%（6.22对5.67），HTML编码为46.29%（4.89对6.47）。去括号为0.05%（6.36对8.65），去掉模板为0.00%（5.97对9.48）。
    • 作者的解读：成功依赖标签式句法边界，而不是某个特殊token的精确匹配；括号或模板去掉后，注意力回到用户提示。

    其他消融与分析

    • 隐空间维度（Table 5）：m=16时Qwen-Flash ASR 55.84%、DeepSeek-V3.2 78.57%；m=24时后者81.17%为表中最高，Qwen-Flash为53.25%。EM/F1升至m=40的94.01%与99.46%，ASR不随维度线性上升。作者称中间维度是表达力与可搜索性的折中。
    • 迭代（Figure 5，Workspace，预算0到100）：论文给出Gemini-3-Flash-Preview前40次从58.4%到68.2%。作者称Qwen3-Max与GPT-4.1-Mini较平稳；这两条曲线的端点数值文本未给出。
    • Phantom-light（Table 10，Workspace）：GPT-4.1为77.27%，高于Phantom的75.97%；Gemini-3-Flash-Preview为35.06%对72.73%。token约63M对184M，作者称降至原来的34%。论文未报告相对三个基线的查询次数。
    • 思考开关（Table 11，Qwen-Flash）：作者称开启后几乎所有场景ASR上升。Phantom在Slack从100.00%到96.19%，Single-Template在Slack从90.48%到84.76%；Phantom其余三域为Workspace 55.84%到67.53%、Travel 87.14%到98.57%、Banking 75.69%到91.67%。作者称思考提高执行注入目标的能力，但未同步提高拦截。
    • 收敛（附录E，Qwen-Flash，Workspace）：10次试验，每次随机10个起点、200次迭代。200次后平均ASR 47.66%，低于主实验55.84%；查询预算210对178。作者称起点分布影响贝叶斯代理对隐空间的刻画。
    • 低ASR：Table 2中Gemini-2.5-Flash的Phantom在无防御、Tag Filter、Injection Detector下分别为9.74%、3.25%、2.60%。

  5. What are some points that can be further explored?

    作者限定文本black-box设定，并计划做架构隔离、多模态威胁与专用基准。

    作者指出的局限与后续方向

    • 模态：只研究文本交互，作者称可能忽略处理视觉或音频的多模态智能体的不同脆弱性（第7节 Limitations）。
    • 对手知识：black-box假设事先不知道目标模板；作者称能接触训练数据的内部人员可以构造更强载荷（第7节 Limitations）。
    • 查询反馈：优化依赖迭代查询，作者称可能受严格速率限制或异常检测影响（第7节 Limitations）。
    • 指标：指标看即时劫持成功，作者称未计入复杂对话状态管理中的长期持久性（第7节 Limitations）。
    • 防御原语：后续要做强制架构互不干扰的防御，包括硬件辅助的token隔离和经过形式化验证的模板解析器（第7节 Future Work）。
    • 扩展评测：后续要把威胁模型扩到多模态，并建立专门衡量结构利用韧性的标准化基准，以便比较防御开销和安全保证（第7节 Future Work）。

    实验覆盖范围

    • 主评测是AgentDojo四个域、97个合法任务、629个对抗用例；被测模型为Qwen3-Max、Qwen-Flash、GPT-4o、GPT-4.1-Mini、GPT-4.1、Gemini-2.5-Flash、Gemini-3-Flash、DeepSeek-V3.2。
    • 防御评测包括Delimiter Spotlighting、Tag Filter、Injection Detector，场景为Workspace。注意力分析在Qwen3-8B上做了Table 4的五种结构条件。
    • 真实部署评估了942个商业级智能体，并写了OpenHands、AutoGen的MCP流程和Agentbay网页注入案例。
    • 增强阶段点名Qwen-Flash与DeepSeek-V3.1，TAE骨干为Qwen3-0.6B，主搜索预算100次迭代。论文未报告每个闭源目标的最优模板是在该目标上查询得到，还是由其他模型的代理评测迁移而来。
    • 论文未报告主实验重复次数；附录E只对Qwen-Flash的Workspace做了10次试验。论文未报告相对Semantic-Injection、Single-Template、ChatInject的查询次数；附录B只比较Phantom与lightweight的token。

  6. Summarize the main content of the paper

    Phantom以结构模板劫持智能体：AgentDojo平均ASR 79.76%，942个商业体报出70个漏洞。
    • 定位：Phantom是针对LLM智能体的自动化劫持框架，用结构化模板注入制造角色混淆，而不是手工编写说服性间接提示。
    • 问题：作者认为现有IPI打语义、受对齐约束且跨模型迁移差。智能体用chat template分隔角色，但控制标记与检索内容最终落在同一token流，边界可被构造序列打断。
    • 做法：78个公开模板经语义改写和字符级规则扩成种子；Qwen3-0.6B上的TAE把三元组模板映到连续空间；随机森林与Expected Improvement在该空间搜索。代理评测用虚构轮次是否被接受来估计角色混淆，解码温度τ=0。威胁模型是remote black-box，仅query access，且假设不知模板格式。
    • AgentDojo：Table 12八个模型、四场景平均，Phantom的ASR为79.76%。第6.2节的基线合计平均为Single-Template 54.09%、Semantic-Injection 39.86%、ChatInject 38.46%。Gemini-2.5-Flash的Phantom为38.77%。摘要把79.76%归到七个闭源模型，与Table 12的八模型平均不是同一口径。
    • 防御与机制：Workspace中，Delimiter Spotlighting下GPT-4.1的Phantom仍为76.62%（Table 2）。Injection Detector把多个模型的ASR压到较低水平，同时Table 3里GPT-4o的Phantom Utility为15.58%。Qwen3-8B上去掉括号或模板后，目标tool call概率降到0.05%和0.00%（Table 4）。
    • 作者的结论：942个商业智能体中识别出70个漏洞（摘要称超过70个），并报告OpenHands、AutoGen的MCP问题（CVE-2025-6***4）和Agentbay云桌面案例，均称已确认。作者认为结构攻击绕过的是以语义为主的对齐，后续需要架构级隔离，而不是只加强语义过滤。
Read originalarxiv.org