同字节不同权限：保留 token 表示如何放大聊天模板提示注入

对话模板伪造注入攻击的威力究竟来自标记文本的语法结构，还是来自保留控制词元（reserved control token）的学得向量表示。

• 问题场景与重要性：大模型智能体将不可信工具输出与自身系统提示词、角色标记置于同一词元流，使得恶意工具返回可通过模仿对话模板实施间接提示注入。作者称伪造模板可大幅提升攻击成功率，传统观点多将其归因于模板语法结构或样式混淆。
• 现有认知的不足：现有模板攻击同时改变了可见文本与词元 ID，未将二者解耦；已有工作（Deng 等人，2026）在 Qwen3-8B 上将标记切分为单字符，报告目标工具概率仅从 100.00% 变动至 99.99%，得出攻击依赖标签语法而非特殊词元的结论。
• 论文的核心观察与提出方案：服务端分词器决定相同字节被编码为单个保留控制词元还是普通子词序列。作者提出在固定输入字节前提下对比二者，并引入控制额外词元数量的对照组，提出标识差距（identity gap）量化保留词元贡献，并评估分词缓解措施与自适应攻击。
• 威胁模型：
  • 攻击者能力：攻击者仅控制普通智能体单次会话中一个工具返回结果的字节，无法控制系统提示词、用户任务、工具模式或服务配置。
  • 攻击者目标与判定：当智能体在随后的生成中调用攻击者命名的工具时，判定攻击成功。
  • 防御者控制权：防御者运行服务端推理栈，控制分词器调用及输入字节转换成的词元 ID，且能标定提示词中的不可信区间。
  • 受害系统范围：自托管开源大模型智能体服务，排除了拒绝文本中保留控制词元字符串的托管 API。

论文在间接提示注入评测、对话模板伪造、分词对抗扰动与指令数据分离四个方向上展开，核心在于解耦文本语法与词元表示。

• 间接提示注入攻击与评测基准：
  • Greshake 等人（2023）与 Perez and Ribeiro（2022）——提出在模型读取的检索文档或工具输出中隐藏指令的间接提示注入形式。
  • Liu 等人（2024）、BIPIA（Yi 等人，2025）、InjecAgent（Zhan 等人，2024）与 AgentDojo（Debenedetti 等人，2024）——形式化评估提示注入并构建基准，其中 InjecAgent 评估单步工具调用劫持，AgentDojo 评测多轮智能体任务完成度。
  • Nasr 等人（2026）与 Jia 等人（2026）——指出近期防御多在自适应攻击下失效，作者据此评估了针对分词防御的搜索攻击。
• 针对对话模板的提示注入研究：
  • ChatBug（Jiang 等人，2025）与 Virtual Context（Zhou 等人，2024）——显示偏离训练模板或插入特殊词元可操纵模型或提高越狱效果。
  • ChatInject（Chang 等人，2026）——确立了智能体中伪造模板的高攻击成功率；其附录采用形似 Unicode 字符使 Qwen3 攻击成功率从 54.8% 降至 17.5%，但由于同时改变了字节与词元 ID，无法区分二者贡献。
  • Ye 等人（2026）、Li 等人（2025）与 MetaBreak（Zhu 等人，2026）——Ye 等人认为模型根据风格而非具体标记推断角色；Li 等人发现扰动角色分隔符破坏任务性能；MetaBreak 利用嵌入空间邻近普通词元绕过特殊词元过滤。
• 分词器层面的对抗与扰动工作：
  • Geh 等人（2025）、TokenBreak（Schulz 等人，2025）与 Zheng 等人（2025）——研究重新切分普通子词序列对模型行为的影响，但其处理的字符串从未具备保留 ID。
  • Deng 等人（2026）——在 Qwen3-8B 上对比了保留与单字符切分并报告无影响，作者称其结果源于概率指标饱和天花板。
• 指令与数据分离防御：
  • Zverev 等人（2025, 2026）、Wang 等人（2025）、Wallace 等人（2024）与 Chen 等人（2025a,b,c）——分别通过位置编码、指令层级微调及架构分离尝试隔离指令与数据。
  • Cefalu 等人（2024）与 Hines 等人（2024）——分别使用不相交词元集或提示标记隔离未受信数据。
• 基线方法与基准：实验基准为 InjecAgent 与 AgentDojo；对照基线包括默认保留分词（Reserved）、标准分词切分（Split）、普通纯文本提示（Plaintext）及字符扰动等。
• 本文定位：作者将本文定位于在服务端分词器层面上，在严格保持输入字节相同的条件下分离保留控制 ID 与文本外观的作用，衡量保留表示的权威性，并指出现有分词器配置未覆盖工具协议词元的防御漏洞。

作者提出固定字节对比（fixed-bytes contrast）框架，在保持输入字节完全一致的前提下，通过服务端分词控制保留词元 ID 与普通子词切分，并结合词元数补偿对照组量化保留表示的权威性。

编码条件设计与标识差距形式化

• 核心条件对比：设攻击者在工具返回中插入伪造模板标记。默认分词将其转为单个保留词元（Reserved）；标准分词缓解（Split）使用普通词汇表将其切分为子词序列，二者解码出的字节严格相同。
• 词元数补偿对照组（Matched）：切分标记会引入 7 至 33 个额外词元（Qwen3 为 15–17 个，Llama-3.1 为 31–33 个，GLM-4.5 为 7–8 个，Seed-OSS-36B 为 12–13 个）。Matched 保持保留词元 ID 不变，在工具返回开头的普通文本处强制切分出相同数量的额外词元以隔离词元数增加的惩罚。
• 标识差距定义式： Δ = ASR(Matched) − ASR(Split) 公式（1）定义了标识差距（identity gap）Δ，以百分点（pp）量化保留表示相对于相同文本子词所贡献的攻击成功率绝对差值。
• 纯文本对照（Plaintext）：使用 System: 等纯文字形式的角色标签替代模板标记，用于测量模板相比纯文本的整体优势。

向量替换与因果干预设计

• 保持长度不变的向量替换：为避免词元长度变化，保持 Reserved 词元序列完全不变，仅在保留标记位置将其输入嵌入向量替换为其他向量（Table 4）。
• 替换目标选择：测试了标记对应子词向量的均值（Mean）、在嵌入空间中余弦相似度最近的普通词元向量（Nearest），以及同模型中其他有效保留控制词元向量（Other reserved，如 Qwen3 的 <|endoftext|>、Llama-3.1 的 <|python_tag|>）。
• 文本外观消融对照：设计保持字符长度且无保留 ID 的形似标记（Lookalike，如 <|zz_end|>）及首字母大写标记（Recased），量化标记纯文本贡献的表面项（surface term）。

机制探测与分词防御构建

• 指令微调与思考块控制：对基座与指令微调模型对采用强制前缀读取工具名称 logit 差值；通过 Qwen3 模板参数 enable_thinking 关闭模型的隐式思考块，检验推理在文本解析中的补偿作用。
• 来源感知编码器（Source-Aware Encoder）：在分词阶段独立处理受信任和不受信任的文本区间；不受信任区间采用移除特殊标记匹配的分词器副本，保留预分词与 BPE 合并逻辑；针对保留 ID 在基础词表内的模型（如 Kimi-K2），构建有约束的最短路径晶格编码器。

实验设置

• 被测模型：Qwen3-8B、Qwen3-32B、Llama-3.1-8B-Instruct、GLM-4.5（FP8 精度）、Seed-OSS-36B-Instruct，以及用于 logit 对比的 Qwen3-1.7B。
• 评测基准与样本量：InjecAgent 抽样 400 个直接危害（DH）和 400 个数据窃取（DS）用例（全量分析为 510 个 DH 和 543 个 DS 用例）；AgentDojo 采用 409 对（四套件）和 224 对（三套件）保留测试集。
• 对比条件：Reserved（默认保留词元）、Matched（词元数匹配的保留词元）、Split（普通子词切分）、Plaintext（纯文本角色提示）。
• 指标定义与判定：以模型下一轮生成的工具调用是否包含攻击者指定工具判定 ASR（%）；严格判定额外要求包含全部必需参数；AgentDojo 以工具执行后的安全检查判定成功；标识差距 Δ 以百分点（pp）计量。
• 服务与重复设置：采用 vLLM 贪婪解码，温度设为 0；每项配置重复运行 3 至 5 次，以 Exact McNemar 检验在各次运行中均显著作为成立标准；Qwen3、Llama-3.1、GLM-4.5 词元预算为 1536，Seed-OSS-36B 为 4096。

主结果

主结果如 Table 2 所示（InjecAgent 各配置 400 例配对样本的重复运行均值）：

Swipe horizontally to read the table

• 保留表示主导多数模型攻击成功率：在 Llama-3.1、GLM-4.5 和 Seed-OSS-36B 上，去除保留词元使 ASR 降低 39.3 至 65.5 个百分点，且 Matched 与 Reserved 差距均在 1.7 pp 以内，证实额外词元数量成本接近于零。
• Qwen3-8B 表现出文本外观主导：Qwen3-8B 在直接危害上的标识差距为 8.1 pp，数据窃取上为 0.5 pp（未达显著），但 Split 相比 Plaintext 分别超出 54.9 pp 和 47.9 pp，作者称其攻击主要依赖标记文本本身。

向量定位与机制分析

• 单个输入向量承载权威性：在 510 个直接危害用例上，Llama-3.1-8B 替换保留标记向量为嵌入空间最近普通词元向量后，ASR 恢复至 98.4%（Reserved 为 98.2%），而替换为子词向量均值仅有 58.4%（Table 4）。
• 指令微调强化保留标记偏好：在 200 个用例的教师强制 logit 差值测试中，Qwen3-1.7B、Qwen3-8B 和 Seed-OSS-36B 的微调模型均显著偏好保留标记（分别达 +7.82、+0.68、+0.33 logit），而基座模型无偏好或反偏好（Table 26）。
• 抑制思考块导致文本识别能力下降：关闭 Qwen3-8B 的 enable_thinking 后，直接危害下 Split 成功率从 74.7% 降至 35.7%，标识差距从 8.8 pp 扩大至 49.8 pp（Table 27），作者称其无保留词元时的攻击依赖显式推理推断角色。

多轮智能体与现有防御缺陷评估

• 多轮任务执行端延续标识差距：在 AgentDojo 四套件 409 对测试集上，Qwen3-8B 和 Qwen3-32B 的执行级标识差距分别为 10.3 pp 和 6.8 pp（Table 28）；在 224 对三套件测试中，Llama-3.1 在 banking 场景下 Split 使攻击成功率从 22.5% 降至 6.7%（Table 29）。
• 分词缓解遗留工具协议漏洞：普查 Hugging Face 下载量前 400 个对话模型发现，33 种分词配置（涵盖 255 个模型，占 64%）将工具协议词元声明为 special:false；仅用此类词元伪造工具块，在四类模型上均测得 9.4 至 19.9 pp 的标识差距（Table 31）。
• 自适应搜索绕过分词防御：攻击者在嵌入空间中搜索非保留普通词元替换伪造标记，在 Llama-3.1-8B 上攻击成功率达 92.2%（未防御为 98.0%），GLM-4.5 达 70.4%（未防御为 72.0%），防御仅消除 1.6 至 12.2 pp 成功率（Table 32）。

其他消融与分析

• 额外词元插入位置消融：在标记前或标记后插入额外词元，标识差距变动在 1.4 至 3.0 pp 以内（Table 22）。
• 单字符切分规则对照：按字符切分在 Qwen3-8B DH 上测得标识差距 54.3 pp，而在 Llama-3.1-8B 上为 37.8 pp（Table 21）。
• 调和以往无影响研究：Deng 等人（2026）的概率差值在本文数据上复现为 0.14 pp 下降（99.998% 到 99.860%），系概率饱和天花板所致（Table 24）。
• 伪造角色消融：将伪造块中的 system 换为 user，Qwen3-8B 和 Llama-3.1 差距变动均在 3 pp 以内，GLM-4.5 缩小 25 pp（Table 19）。
• 推理引擎鲁棒性：使用 Hugging Face 原生 transformers.generate 重新评估，标识差距与 vLLM 相差在 0.7 至 4.0 pp 以内（Table 16）。
• 良性任务效用测试：AgentDojo 57 个良性任务上防御与未防御效用分别为 69.0% 与 64.9%，无统计显著差异（附录 F）。

作者指出的局限与后续方向

• 仅研究开源自托管模型：论文在第 5 节 Limitations 中指出，研究仅针对部署者控制分词过程的自托管开源权重模型，仅接受字符串输入的托管商业 API 不在研究范围内。
• 基准成功判定标准的局限：第 5 节 Limitations 指出，在 InjecAgent 上的成功标准基于模型下一轮解析出的工具调用，任务执行级别的成功判定仅在 AgentDojo 上测量。
• 向量干预非外部攻击输入：第 5 节 Limitations 指出，第 4.4 节中的向量替换操作直接干预了模型的输入表示层，并非攻击者可以直接通过网络发送的字节。
• 防御拓展评估方向：作者在第 5 节结论中提出，固定字节对比方法未来可用于评估专门针对提示注入训练的模型（如 StruQ、SecAlign、Meta SecAlign），检验防御消除了表示权威还是仅消除了触发表面特征。
• 防范机制的报告呼吁：第 5 节结论中作者提出，模板攻击研究后续应在报告文本的同时报告具体的词元 ID，防御评测应根据模型实际接收到的词元 ID 进行裁定。

实验覆盖范围

• 被测模型范围：全生成评测覆盖 Qwen3-8B、Qwen3-32B、Llama-3.1-8B-Instruct、GLM-4.5、Seed-OSS-36B-Instruct 共 5 个模型，logit 探测额外包含 Qwen3-1.7B。
• 评测基准与样本规模：InjecAgent 抽样 400 个 DH 与 400 个 DS 用例（全量分析为 510 个 DH 和 543 个 DS 用例）；AgentDojo 评测了 409 对（四套件）与 224 对（三套件）保留测试集。
• 分词器配置普查范围：普查覆盖了 Hugging Face Hub 上下载量前 400 个文本生成对话模型，归纳为 67 种独立分词器配置。
• 自适应搜索空间：自适应攻击评估了 6 种预设规则与针对每个模型 115 至 133 个候选拼写的搜索空间。
• 未报告信息陈述：论文未报告商业闭源托管模型上的词元级表现（因分词黑盒不可见）。

• 核心定位与问题：针对大模型智能体中对话模板伪造攻击的有效性机理，论文在严格固定输入字节的前提下，首次将保留控制词元 ID 与模板文本外观的贡献解耦并定量测量。
• 核心方法设计：提出固定字节对比框架，通过服务端分词控制保留词元与普通子词切分，并引入词元数补偿对照组（Matched）定义标识差距 Δ，结合输入嵌入层向量替换实施因果归因。
• 关键实验结果：
  • 在 Llama-3.1、GLM-4.5 和 Seed-OSS-36B 上，去除保留词元使 InjecAgent 攻击成功率降低 39.3 至 65.5 个百分点，证实保留表示主导攻击威力（Table 2）。
  • 保留标记的权威性根植于标记位置的单个学得向量，Llama-3.1-8B 替换为嵌入空间最近普通词元向量可恢复 98.4% 成功率（Table 4）。
  • Qwen3-8B 具有文本语法主导特性，但在关闭思考块后，去除保留词元的攻击成功率从 74.7% 跌至 35.7%，标识差距扩大至 49.8 个百分点（Table 27）。
  • 普查发现 64% 的主流开源模型分词器未覆盖工具协议词元，且自适应嵌入邻近搜索可恢复大部分攻击成功率（Table 31, Table 32）。
• 作者结论与启示：作者认为对话模板注入攻击的权威性主要来自模型后训练中对保留控制向量赋予的学习信号；安全研究与防御部署必须深入分词器底层并审查传递给模型的具体词元 ID。