Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入

标准 decoder-only Transformer 没有来源权威的结构机制，间接提示注入（Indirect Prompt Injection, IPI）可以把外部内容里的指令当成应执行的指令。

• 场景：作者称 LLM 已进入检索流水线、工具智能体和文档助手；恶意指令可藏在检索内容里，触发未授权工具调用或跨多智能体工作流的数据外泄。形式化为用户指令 I 与外部内容 C 经模板 T 组成 P = Combine(T, C, f(I))。
• 现有不足：作者把防御分为 prompt-based、detection-based 和 fine-tuning-based。前两类依赖措辞或外部检测，漏检后没有架构保证；微调类（如 StruQ、SecAlign）仍靠内容寻址注意力从样例学习，不能从结构上约束不可信内容如何影响生成。Sandwich 与 StruQ 即便标注了信任边界，仍要模型自己决定是否遵守。
• 核心观察：作者认为根因是模型没有机制区分权威指令来源与非权威数据来源。归一化会稀释加性信号，内容寻址注意力也没有来源通道。防御还不能在良性输入上过度抑制。
• 威胁模型：
  • 目标：攻击者要让 LLM 应用执行其选定指令，即通过不可信来源里的内容获得指令级控制。
  • 能力：可控制、部分控制或投毒稍后进入输入的外部内容（网页、邮件、文档、工单、知识库、工具返回文本），可用任意措辞、混淆或领域格式。不控制系统提示、应用的 origin 分配策略和推理时模型权重。
  • 知识：知道防御方可能部署防御，并能观察输出。最强评估额外给予架构、权重和梯度的 full white-box 访问，以做针对该防御的梯度自适应攻击。防御方有目标模型的 white-box 知识并控制 origin 策略，但事先不知道注入的措辞、位置或混淆方式。
  • 受害系统与防御目标：检索增强生成、工具智能体和文档助手等已由应用汇合多来源的系统。防御资产是指令完整性：服从操作者策略并完成用户授权任务，阻止 Ring 3 token 施加指令级控制，同时仍把允许来源当任务上下文。
• 提出的方法：Provenance-Aware Transformers 把应用提供的来源标签做成模型内可执行信号：每个 token 一个 ring ID，加上 origin embeddings、可学习 origin attention bias 和可学习 origin scale；再用两阶段微调适配已发布的预训练模型，并构造两个带 origin 标签的数据集。

Decoder-only LLM

• Vaswani 等（2017）、Radford 等、Touvron 等（2023）、Jiang 等：因果自注意力使 token 只看前文并自回归生成；作者称 GPT、LLaMA、Mistral 等因此成为指令跟随和智能体系统的主流，也因所有输入被拼成同一因果序列而对提示注入敏感。

间接提示注入攻击

• Greshake 等、Zou 等（PoisonedRAG）及智能体框架工作：恶意指令不由用户直接给出，而藏在应用代为检索的外部内容 C 中。代表模式包括直接覆盖与角色切换、检索内容中的直接/间接注入、对抗后缀或混淆 token 的优化攻击，以及利用说服或情绪语言的行为攻击。

间接提示注入防御

• Prompt-based：Instruction hierarchy 的 instructional reminders、delimiter 与 sandwich、随机序列隔离、known-answer 探测。作者称它们不改权重，但会被模仿合法指令的注入绕过。
• Detection-based：PromptArmor、LlamaGuard、PromptSleuth、DataSentinel、PromptLocate 及 attention-based sanitization。作者称它们把注入当分类，在生成下游工作，漏检后没有架构保证。
• Fine-tuning-based：SecAlign 用偏好优化，StruQ 用结构化指令微调。作者称它们把抵抗写进权重，但仍依赖内容寻址注意力，没有结构约束。

基线方法与基准

• 基线：无防御；Instructional、Sandwich、Random Sequence、Delimiters、Known-Answer；PromptSleuth、DataSentinel、PromptGuard、PromptLocate、Rennervate；SecAlign（官方 LoRA）与 Architecture-Free Baseline（只做对齐微调、无 ring 组件）。基准：SEP（IID）、PI-Attack、DataSentinel、Math-Tutor（后三者 OOD），效用用 AlpacaEval 2.0。

作者定位本文的三点区别：provenance 由应用显式提供并作为一等信号注入，不靠模型从文本结构推断权威跨度；抑制发生在被保护模型自己的前向中，而不是外部检测模块；目标是让来源身份在结构上约束注意力，而不是只靠训练样例记住已知攻击风格。

Provenance-Aware Transformers 在解码器每一层前给 token 标上离散来源，并用三个可学习组件让 provenance 直接约束生成时的信息流。

问题设定与四环

应用先分词得到 F，并给出 origin 序列 r = O(X)，R = {0, 1, 2, 3}。生成写成 M_Θ(F, r) = G(A_θ(f_i, r_i)_i=1ⁿ)：A_θ 按来源约束每个表示如何影响后续生成。安全目标是 Ring 3 token 不得施加指令级影响，即便它对输出的影响不为零；同时 Ring 0–2 上的行为应接近无 origin 条件的基座模型。

Table 1 与公式 (4) 的层级：

• Ring 0（ORG_SYSTEM）：系统提示，操作者绝对权威，定义必须服从的策略。
• Ring 1（ORG_SELF）：模型已生成 token，避免与外部指令混淆。
• Ring 2（ORG_USER）：直接用户意图及其他部署指定为可信或允许的内容，作普通任务上下文。
• Ring 3（ORG_Data）：结构上不可信的外部内容，不论表面措辞都无条件抑制。

作者称环数不由架构写死，更细的信任类可由应用定义。Ring 0/2 不需要内容检测，因为框架已知这些跨度的来源；本文设定里 Ring 3 也按 provenance 策略赋值，默认把结构上不受信任的外部内容标为 Ring 3。

三个 origin 组件

Figure 1 在现有解码器上增加粉色模块。

• Origin embedding：E_org ∈ R^{4×d}，按 ring ID 查表，加到 token embedding 上再进 Transformer。它是可学习参数，由训练塑成来源语义。
• Origin scale α：α ∈ R+，初始化 α_0 = 0.1，在相加前乘 origin embedding。作者称紧随其后的 RMSNorm 会在微调中随 token embedding 变大而稀释来源幅度，可学习标量比让高维嵌入自己补偿尺度更容易收敛。输入为 x_i = E_tok[t_i] + α · E_org[r_i]。
• Origin attention bias：共享于所有层和头的 B ∈ R^{4×4}。对 query/key 的 ring 取 B_{r_i,r_j}，加到原始注意力 logit：a_ij = q_i · k_j / √d_k + B_ri,rj。初始化只在 (Ring 1 或 Ring 2 的 query, Ring 3 的 key) 上为 −δ（δ ≫ 0），其余为 0。作者称这覆盖两条路径：助手 query 直接看不可信 key，以及 Ring 2 先看不可信 key 再被助手使用。Ring 0 靠因果掩码已看不到其后的不可信 key，故不加抑制项；Ring 3 自身的 query 不限制。Figure 2 把该偏置画成按 query/key ring 调制 logit 的矩阵。实现上把 ring 索引偏置展成注意力分数形状，加进因果注意力掩码，从而仍用标准 scaled-dot-product 核。

Stage 1 还有两个几何辅助损失：L_orth 惩罚 Ring 0 与 Ring 2 嵌入的余弦相似度；L_auth = ReLU(‖e_2‖ − ‖e_0‖ + m)，m ≥ 0，鼓励系统嵌入幅度不小于用户嵌入加间隔。

两阶段监督微调

Figure 3：先在宽指令数据上做 origin fine-tuning，再在窄的结构注入数据上做 alignment fine-tuning。作者称若一开始就上抑制目标，模型可能过度泛化并损害普通任务。

• Stage 1：105K 条，UltraChat-200K 取 80K、MMLU auxiliary-train 12K、GSM8K 8K、CodeAlpaca-20K 取 5K。每卡 batch 2、梯度累积 8 步、最长 1024 token、学习率 1×10^{-5}、梯度裁剪范数 1.0、2 个 epoch。
• Stage 2：在 SEP 的 witness 方法上加 ring 标签。Claude 按子任务生成新的短上下文并与原 SEP 去重；再用仅含合法任务与上下文的提示生成一句参考回答作为监督目标；从固定库抽 probe–witness，probe 被服从时输出才会出现确定性 witness；按 PromptSleuthBench 的 9 种攻击模式，把 probe 随机插入 Ring 2 上下文并标成 Ring 3，监督目标仍是合法回答，同时配一条无 probe 的良性样本。另把 Alpaca-Cleaned 转成只有 Ring 0/1/2 的对话。共 60,200 条训练（24,079 注入、36,121 良性），留出 IID 测试 4,375 条。Stage 2：同样的 batch 与累积、最长 2048、学习率 2×10^{-5}、3 个 epoch。训练用 nanochat 的数据与训练循环，DeepSpeed ZeRO-2，8 张 80GB A100。

成功判定

ASR：注入例上，输出匹配或反映注入指令所暗示标签 y_inject 的比例。检测类基线的 ASR 定义为未被标出的注入比例（false-negative rate）。效用用 AlpacaEval 2.0 的 length-controlled win rate：与基座回答成对，由 Claude Sonnet 5 随机顺序评判，并拟合长度差的 logistic 后报告去掉长度项的 σ(α)；50% 表示与未防御基座持平。

实验设置

• 被测模型：SmolLM2-360M-Instruct、LLaMA-3-8B-Instruct（主模型，因若干基线面向 LLaMA 家族）、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3。包装 HuggingFace 检查点，不改成从零训练。
• 数据集：Table 2：SEP（IID，witness 注入，4,375）、PI-Attack（OOD，分类，8,256）、DataSentinel（OOD，分类，178）、Math-Tutor（OOD，自由形式数学，3,800）。Stage 2 训练分布与 SEP 同源，三个 OOD 的任务域和注入风格未在训练中出现。
• 基线：无防御；五种 prompt-based；五种 detection-based；SecAlign 与 Architecture-Free Baseline SFT。RQ1 的跨类别对比在 LLaMA-3-8B-Instruct 上（Table 3）；四模型对比含 Base Pretrained、Baseline SFT、Provenance-Aware（Table 4）。
• 指标：ASR（越低越好）；AlpacaEval 2.0（805 条开放指令）的 LC win rate，评审为 Claude Sonnet 5。自适应攻击报告 GCG loss 与 ASR。
• 训练：Stage 1/2 的 batch、学习率与 epoch 见第 3 问。论文未报告评测时每条样本的重复次数。
• 条件：Table 3 的检测类 ASR 等于未检出注入的比例；Table 4 的 Provenance-Aware 行是在对应基座上加架构并两阶段微调后的结果，目标模型就是该基座本身。

主结果

Table 3 只覆盖 LLaMA-3-8B-Instruct。Table 4 是四模型主比较，OOD 三列是作者用来主张结构泛化的数字。

Swipe horizontally to read the table

模型	条件	SEP IID	PI-Attack	DataSentinel	Math-Tutor
SmolLM2-360M	Base / SFT / Ours	40.19 / 0.74 / 0.51	33.79 / 13.90 / 0.05	84.48 / 6.90 / 0.00	3.33 / 0.06 / 0.00
LLaMA-3-8B	Base / SFT / Ours	32.50 / 0.80 / 0.69	21.30 / 2.32 / 0.03	24.14 / 8.62 / 0.00	17.22 / 0.33 / 0.00
Qwen2.5-7B	Base / SFT / Ours	49.13 / 0.66 / 0.63	34.83 / 3.74 / 0.00	84.48 / 10.34 / 0.00	10.89 / 0.11 / 0.00
Mistral-7B	Base / SFT / Ours	43.47 / 0.34 / 0.66	43.58 / 17.77 / 0.03	51.72 / 5.17 / 0.00	35.94 / 1.50 / 0.00

据 Table 4，单位为 ASR%。Ours 即 Provenance-Aware。Mistral 的 SEP 上 Baseline SFT（0.34%）低于 Provenance-Aware（0.66%）。

• 作者称 Table 3 中没有任何既有类别在全部设定上都稳定低 ASR。LLaMA 上 prompt-based 的 SEP ASR 为 10.9%–30.9%（无防御 32.5%），Random Sequence 在 DataSentinel、Math-Tutor 上仍为 12.1% 和 26.6%。检测类里 DataSentinel、PromptLocate 的 OOD 接近 0，PromptGuard 在四集上为 28.0%–53.8%。SecAlign 在 PI-Attack 与 Math-Tutor 为 0.0%，DataSentinel 为 6.9%。Table 3 中 Provenance-Aware 为 SEP 0.6%、其余三集 0.0%。Table 3 与 Table 4 的 LLaMA 数字不完全相同（例如 SEP 0.6% 与 0.69%），此处并列保留。
• 作者称 四模型上两种微调在 SEP IID 都低于 1% ASR，因此 OOD 差距不能解释成分布内拟合更好；基座 IID ASR 为 32.50%–49.13%，说明 SEP 任务本身并不平凡。
• 作者称 Provenance-Aware 在 LLaMA、Qwen、Mistral 的三个 OOD 上 ASR ≤ 0.03%，且相对 Baseline-SFT 的差距在未见分布上更大，因而把鲁棒性归于结构抑制而不是记住训练模式。SmolLM2 的 OOD 同样为 0.05%、0.00%、0.00%，作者把它当作远小于生产规模时结构性质仍成立的检查。

效用（RQ3）

Table 5 报告 AlpacaEval 2.0 的 LC win rate（相对各自未防御基座，50% 为持平）。

• LLaMA-3-8B：Baseline SFT 48.7%，Provenance-Aware 50.2%。
• Qwen2.5-7B：47.9% 与 51.4%；Mistral-7B：46.1% 与 49.6%；SmolLM2-360M：44.8% 与 48.3%。作者称约 50% 表示效用与基座相当，鲁棒性不以有用性为代价；SFT 略低于 50%，Provenance-Aware 在四模型上都略高于对应 SFT。

自适应攻击（RQ4）

作者对 Provenance-Aware 做 white-box GCG，优化目标是让 Ring 3 中的注入被执行。Table 6（LLaMA-3-8B）：

• 无防御：GCG loss 从 2.41 降到 0.18（500 步），ASR 从 32.5% 到 78.4%。
• Baseline SFT：loss 2.87 → 0.42，ASR 0.8% → 21.6%。
• Provenance-Aware：loss 3.52 → 2.91，ASR 0.6% → 0.8%。作者称损失几乎不降、ASR 保持接近零，是因为 Ring 3→生成的注意力通道被偏置压住，梯度难以把指令级影响送出去。论文未报告该 GCG 的样本量分母以外的“500 步”之外的查询预算细节；步数即 500。

越狱迁移（RQ6）与消融（RQ5）

作者把同一抑制用于越狱：把不可信的越狱跨度标为 Ring 3。Table 8，HarmBench，LLaMA-3-8B，ASR：

• 标准行为：Base 18.4%，Baseline SFT 9.7%，Provenance-Aware 3.1%。
• GCG 后缀：Base 46.2%，SFT 22.8%，Provenance-Aware 4.6%。作者称架构并非只记住 IPI 样式，同一来源抑制可转到另一类对齐威胁；论文未把 HarmBench 写成 IPI 主基准。

其他消融与分析

Table 7 在 LLaMA-3-8B 上去掉组件后的 ASR（SEP / PI-Attack / DataSentinel / Math-Tutor）：

• Full model：0.69 / 0.03 / 0.00 / 0.00。
• 去掉 origin attention bias：18.4 / 11.2 / 14.7 / 9.6。作者称偏置是主要抑制通道。
• 去掉 origin embedding：4.8 / 2.1 / 3.4 / 1.7。
• 去掉 origin scale α：2.6 / 1.4 / 1.9 / 0.8。
• 去掉 L_orth 与 L_auth：1.9 / 0.8 / 1.1 / 0.4。
• 只做 Stage 2、不做 Stage 1：3.7 / 6.5 / 8.2 / 2.4。作者称先学 origin 语义再学抑制，否则 OOD 更高。

负面例外：Mistral-7B 的 SEP IID 上 Provenance-Aware（0.66%）高于 Baseline SFT（0.34%）（Table 4）。Table 3 的 PromptLocate 在 SEP 与 DataSentinel 上 ASR 为 0.0%，低于 Table 3 的 Provenance-Aware SEP 0.6%。Table 5 中四个 Baseline SFT 的 LC win rate 都低于 50%。

作者指出的局限与后续方向

• Origin 策略错误：Discussion 称若应用把权威指令标成 Ring 3，或把不可信内容标成 Ring 0–2，结构边界会按错误标签执行；架构不检验标签是否符合真实来源。（Discussion）
• 环级粒度：作者称四环是一种策略而非架构上限，更复杂部署需要区分多类可信外部源或把工具返回与检索文档分开，本文没有训练这些更细层级。（Section 4.2 与 Discussion）
• 架构范围：Conclusion 称组件是加在 decoder-only 因果注意力上的，encoder-decoder 或多模态模型上的对应改法留给后续工作。（Conclusion）
• 自适应攻击的部署差距：作者称 white-box GCG 是最强实验室设定，真实系统里攻击者通常没有权重与梯度；针对 origin 分配接口本身的攻击没有评估。（RQ4 讨论与 Limitations）
• 效用度量：作者称 LC win rate 只覆盖开放指令跟随，工具调用、长上下文检索等智能体效用没有单独测量。（Limitations）
• 作者计划：作者称将发布实现，并计划把 ring 组件并入所用训练代码路径；正文把它写成计划而非已完成的发布。（Conclusion）

实验覆盖范围

• 被测模型为 SmolLM2-360M-Instruct、LLaMA-3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3，共 4 个开源 decoder-only 指令模型（Section 5.1）。
• IPI 评测为 SEP（4,375，IID）、PI-Attack（8,256）、DataSentinel（178）、Math-Tutor（3,800）；跨防御类别的 Table 3 只在 LLaMA-3-8B-Instruct 上报告（Table 2、Table 3）。
• 防御比较包括 5 个 prompt-based、5 个 detection-based、SecAlign 与 Architecture-Free Baseline SFT，另有无防御基座（Section 5.2）。
• 效用为 AlpacaEval 2.0（805 条）的 LC win rate，评审模型为 Claude Sonnet 5；自适应实验为 LLaMA-3-8B 上 500 步 GCG；越狱为同一模型的 HarmBench 标准行为与 GCG 后缀（Table 5、Table 6、Table 8）。
• 消融在 LLaMA-3-8B 上分别去掉 attention bias、origin embedding、α、两个辅助损失，以及去掉 Stage 1（Table 7）。论文未报告评测重复次数，也未报告 ASR 的人工一致性。

Zhang、Huang 与 Gu 提出 Provenance-Aware Transformers，把应用给定的来源做成解码器内部的结构约束，用来对付间接提示注入。

• 问题：检索、工具和文档助手把系统指令、用户输入和外部内容拼进同一因果序列。作者认为模型只能从措辞判断服从对象，现有提醒、检测和微调都没有从来源上限制不可信 token 的指令级影响。
• 方法：四个 ring（系统、助手自身、用户/允许内容、不可信外部数据）。Origin embedding 与可学习标量 α 把来源写进输入并抵抗 RMSNorm 稀释；共享的 4×4 注意力偏置只强力抑制助手或用户 query 对 Ring 3 key 的注意力。两阶段微调先在 105K 条多样指令上学生源语义，再在带 witness 的 60,200 条结构注入数据上学习忽略 Ring 3。
• 结果：Table 4 中 LLaMA-3-8B 的 Provenance-Aware ASR 为 SEP 0.69%、PI-Attack 0.03%、DataSentinel 0.00%、Math-Tutor 0.00%；Qwen 与 Mistral 的三个 OOD 同样不超过 0.03%，SmolLM2 为 0.05%、0.00%、0.00%。Table 3 里该方法在 LLaMA 的三个 OOD 上为 0.0%，SecAlign 在 DataSentinel 上为 6.9%。AlpacaEval 2.0 上 LLaMA 的 LC win rate 为 50.2%。500 步 GCG 后 ASR 为 0.8%（无防御 78.4%）。HarmBench 上标准行为与 GCG 后缀的 ASR 为 3.1% 和 4.6%。去掉注意力偏置后 SEP ASR 升至 18.4%。Mistral 的 SEP 上 SFT（0.34%）低于本文（0.66%）。
• 作者的结论：把 provenance 作为一等架构信号，可以把安全对齐从脆弱的模式匹配转到显式的信任分离；效用保持在与基座相当的水平。作者同时认为该保证依赖应用层把 ring 标对。