TRACER：针对间接提示注入的轨迹正则化训练

1. 01这篇论文试图解决什么问题？

   作者称同一载荷换通道会改变ASR，单包装训练不能默认迁移。

   同一恶意载荷的攻击成功率随呈现通道变化，单包装里训出的鲁棒性不能默认迁到其他通道。

   • 场景：RAG、工具助手和多智能体必须处理模型未撰写、也不能完全信任的文本。作者将藏在外部内容、而非直接用户提示里的恶意指令称为间接提示注入。
   • 现有不足：作者称现有防御通常在单一 wrapper 内训练和评测，因此“换通道后鲁棒性是否还在”很少被直接隔离。
   • 观察：六个只针对 follow-up 式攻击训练的中间快照，把同一攻击串改包为检索文档后，平均 ASR 从 18% 升到 53%。作者称之为 framing gap，并把 follow-up 弱于文档、工具输出或智能体消息称为 authority gradient。正文称 authority 只是解释性简称，不是孤立因果结论；格式、位置、来源标记和指令微调先验也可能有贡献。受控结论是：载荷固定时，通道渲染改变 ASR。
   • 方法：提出 TRACER（Trace-Regularized Adversarial Channel Exposure with Reward-shaping）。训练时采样呈现包装，用答案锚定、证据门控奖励，并在注入证据无效时用 ATRC 把被攻击推理对齐到干净锚点。
   • 威胁模型：
     • 能力：攻击者只能修改不可信外部上下文，不能改原始用户任务、隐藏的 system 或 developer 指令、模型权重、训练过程或 evaluation harness。
     • 防御任务：相关且有效的外部上下文应作证据；其中对抗文本不应被当作必须服从的指令。论文称之为 semantic-control。
     • 通道：C = {followup, rag, tool, agent}，对应检索文档、工具输出、其他智能体消息，以及用户 follow-up。
     • 判定：条件 ASR 只统计干净答对、注入后答错的样本，以区分注入失败和普通错题。

   收起这一问

2. 02有哪些相关研究？

   论文把本文放在间接注入基准、RAG投毒、推理时防御和可验证奖励旁。

   间接提示注入与基准

   • Greshake et al. (2023)：把间接提示注入作为 LLM 集成应用中的实际威胁提出。
   • 后续基准：BIPIA、InjecAgent、AgentDojo、ASB、WASP、Hidden-in-Plain-Text（Yi et al., 2025; Zhan et al., 2024; Debenedetti et al., 2024; Zhang et al., 2025; Evtimov et al., 2025; Guo and Wei, 2026）把攻击面扩到智能体、动态环境和网页。作者称本文不另建环境，而是隔离这些设置共有的包装因素。

   RAG 鲁棒性与攻击设计

   • 矛盾或被污染检索：ConflictQA、RGB、PoisonedRAG（Xie et al., 2024; Chen et al., 2024; Zou et al., 2025）评测矛盾或损坏检索下的失败。
   • TopicAttack（Chen et al., 2025c）：研究更贴近实际场景的间接注入。作者称这一组工作多把鲁棒性当作固定流水线的性质；本文固定载荷、只改变呈现通道。

   防御

   • 分离、标记与对齐训练：StruQ 用结构化指令微调做提示/数据分离（Chen et al., 2025a）；Hines et al. (2024) 的 spotlighting 在推理时做数据标记；SecAlign 用偏好优化做对齐式训练（Chen et al., 2025b）。
   • 运行时模块：MELON、CaMeL、instruction detection、robustness-via-referencing、PromptArmor、tool-result parsing、ICON、AttriGuard。作者称这些方法通常加固固定流水线或增加推理时模块；本文关注如何训练基座模型，使其在不同不可信通道上保持正确的攻击后行为。

   推理强化学习与评测议程

   • 可验证奖励：GRPO（Shao et al., 2024）、Guo et al. (2025) 的 DeepSeek-R1、Yu et al. (2025) 的 DAPO，以及逐步过程奖励（Lightman et al., 2024; Wang et al., 2024）。作者称这些方法改善干净输入上的推理；TRACER 把干净轨迹当作证据无效时必须保持一致的锚点。
   • 评测标准：Jia et al. (2025) 与 Zhan et al. (2025) 主张防御应同时看安全与效用，并针对自适应攻击而不只是静态字符串。作者称 framing-gap 分析符合该议程：只报单一通道分数可能漏掉换包装后的失败。

   基线与基准：实验对照包括未加 LoRA 的基座、answer-only 通道暴露、去掉 ATRC 的复合奖励，以及 RAG wrapper 与 RAG 专用系统提示的消融。主任务为 GSM8K；另在 Natural Questions 与 TriviaQA 上做 RAG 框定的跨域评测。论文未把上述已发表防御当作实验基线跑一遍。

   作者把本文定位为与这些基准和推理时防御互补：不引入新环境，也不替换运行时模块，而是把包装通道写入训练目标，并报告跨框定迁移。

   收起这一问

3. 03论文如何解决这个问题？

   TRACER采样呈现通道，用证据门控奖励和ATRC，在无效注入时保住干净锚点。

   TRACER 把不可信上下文的呈现通道当作训练随机变量。每个样本先干净作答，再把同一对抗载荷经采样通道送回，只对攻击后回答给奖励；证据无效时，ATRC 拉住干净推理跨度。

   问题设定

   • 对象：任务为 (x_i, y_i)，a_i 为对抗内容，c ∈ C = {followup, rag, tool, agent}。ρ_c(a_i) 只改渲染，不改载荷。
   • 三个量：干净准确率 Acc^0、通道 c 的攻击后准确率 Acc^c，以及条件攻击成功率。正的迁移差表示在训练通道上学到的怀疑没有完全迁到评测通道。
   • 条件 ASR：分母是干净答对的样本，不是全评测集。ASR̂_c(π)=(∑_i1[ŷ_i⁰=y_i] 1[ŷ_i^c≠ y_i])/(∑_i1[ŷ_i⁰=y_i])

   三轮博弈与通道采样

   • 三步：先由 x_i 生成干净轨迹和答案；再把 a 渲染为 ρ_c(a)；最后在干净对话前缀之后生成攻击后轨迹和答案。奖励只给第三步。
   • 通道入目标：c 从 p_S 抽取，支撑集 S ⊆ C。S = {rag} 等为单通道专家；S = {rag, tool} 为联合训练，在两种框定间交替。
   • 标签与拒答：证据是否有效由构造时的标签给出，不从策略输出推断。训练含 15% 良性样本。训练与评测的任务实例不相交。

   复合攻击后奖励

   • 五项：r = Σ β_k r_k，k 为 ans、proc、anc、corr、len，权重依次 0.25、0.25、0.20、0.20、0.10。
   • 答案与过程：r_ans 看攻击后答案是否等于金标；r_proc 是攻击后各步局部有效性 V(s) 的平均。
   • 锚点：从干净轨迹抽出命题，用验证器 ϕ 的支持分减矛盾分，再对命题平均。
   • 可修正性：r_corr = C(q^0, q^c, v)，v 表示该通道证据是否有效。作者称无效证据下保住正确答案给正奖励、被翻转给负奖励；有效证据下修正错误给正奖励。附录 B 给六种情形。长度项只在攻击后答对时惩罚超出 |τ^0| + δ 的部分；论文未给出 δ 与 λ_len 的数值。

   ATRC

   • 门控：g = 1[干净答案正确] × 1[注入证据无效]。门控关闭时，不强迫保留错误干净轨迹，也不忽略有效证据。
   • 损失：在干净锚点跨度对应的承诺位置上，停梯度地把攻击后 token 分布拉向干净分布，并恢复干净目标 token。附录 H 的混合系数 α = 0.5。按回答相对位置对齐，因为攻击提示在回答前多了通道上下文。

   优化与指标边界

   • 目标：用 GRPO 最大化攻击后复合奖励，并减去相对参考策略的 KL 与 ATRC。max_θ𝔼_{(x,y)∼ D, a∼ A, c∼ pS}[r_θ(x,y,a,c)]−λ_KLKL(π_θ‖π₀)−λ_regL_ATRC
   • 系数：主实验 λ_KL = 0.10，λ_reg = 0.10。作者称优化器是标准 GRPO，区别在通道采样、结构化攻击后奖励和承诺跨度上的轨迹损失。
   • 何谓成功：报告的准确率与 ASR 只看最终答案抽取。步骤验证器和锚点验证器只进入训练奖励。跨框定比较默认用各专家的终检点，避免拿某一通道的最好中间点对另一通道的终检点。

   收起这一问

4. 04论文做了哪些实验？

   在GSM8K上，3B的RAG框定ASR从65.5%到6.1%，联合训练平均为13.9%。

   实验设置

   • 模型：主训练为 Qwen2.5-3B-Instruct（4-bit QLoRA）；缩放为 Qwen2.5-7B-Instruct。无额外训练的 framing 诊断还包括 Llama-3.1-8B-Instruct、Gemma-2-9B-It、Mistral-7B-Instruct。论文未命名单独的攻击生成模型或 LLM 裁判。
   • 数据：GSM8K，2000 条训练，每个检查点 200 条评测。跨域为 RAG 框定的 Natural Questions 与 TriviaQA；论文未报告二者样本量。
   • 攻击与对照：reasoning rewrite、preemptive answer、prompt injection；另有 held-out paraphrase、channel-aware escalation、defense-aware。对照为未加 LoRA 的基座、answer-only、无 ATRC 的复合奖励，以及 wrapper 与系统提示消融。
   • 协议：3B 主配置三个 epoch，学习率 2×10^−6，batch size 1，梯度累积 8，group size 4，KL 系数 0.10，ATRC 权重 0.10，vLLM rollout。分别训练 RAG、tool-output、agent-message 专家，以及 RAG 与 tool 交替的联合模型。
   • 指标：条件 ASR、干净准确率、攻击后准确率、跨通道迁移差。证据有效性是构造标签。Table 4 的人工一致：步骤 90.0%，锚点 91.0%，最终答案抽取 99.5%；论文未报告该核对样本条数。部分比较给 Wilson 95% 区间，论文未做假设检验。
   • 包装：评测包装为 follow-up、RAG、tool-output、agent-message。迁移实验固定载荷，只换 wrapper。

   主结果

   跨框定条件 ASR（%），据 Table 8。省略 3B Tool 的 epoch 1 与 7B RAG 的 epoch 2。

   表格较宽，可左右滑动

   模型	Follow-up	RAG	Tool	Agent
   3B Base（无 LoRA）	41.4%	65.5%	59.4%	46.5%
   3B RAG-trained	14.5%	6.1%	25.7%	26.5%
   3B Tool-trained（终检）	20.0%	20.2%	15.0%	15.8%
   3B RAG+tool	11.3%	5.2%	21.7%	17.5%
   3B Agent-trained	19.6%	15.7%	26.3%	18.4%
   7B Base（无 LoRA）	9.5%	34.3%	36.6%	16.8%
   7B RAG epoch 1	5.2%	10.4%	13.5%	8.5%
   7B RAG 终检	5.1%	13.6%	18.2%	6.2%

   • 作者称 3B 基座有 authority gradient，正式包装使同一载荷更有说服力。图注把权威或来源线索写成一种可能解释；正文称格式、位置、来源标记和指令微调先验也可能随包装变化。
   • 作者称 RAG 训练偏深度、工具训练偏广度。联合 RAG+tool 的四通道平均 ASR 为 13.9%，其原生 RAG 格略低于 RAG 专家终检。单包装分数看不到这一权衡。
   • 省略的两行见 Table 8。作者称 7B 缩小但不消除框定依赖；以迁移为目标时，终检不一定优于较早检查点。

   框定差距与条件分母

   • Figure 3：作者称基座在更正式包装中更易被同一攻击击中；prompt injection 从随意 follow-up 的 70%，到 agent、tool、RAG 下作者所写的 roughly 92–96%。六个只训 follow-up 的中间快照，改包为 RAG 后平均 ASR 从 18% 到 53%（作者写 +35 pp）。
   • Table 5：follow-up 评测平均 18.0%（173/960，Wilson 95% CI [15.7, 20.6]），RAG 评测平均 53.0%（509/960，[49.9, 56.2]）。原生 RAG：基座 65.6%（99/151，[57.7, 72.7]），TRACER 6.1%（10/164，[3.3, 10.9]）。正文、Table 1 与 Table 8 的基座 RAG 为 65.5%。作者称不主张结构化包装之间较小差异都可统计区分；并注明汇总百分比与图上百分比可因报告粒度不同。
   • 含义：作者称不能从对话 follow-up 上的加固推出 RAG、工具助手或多智能体同样鲁棒。分母随干净答对数量变化，因此 151 与 164 都不是 200。

   压力测试与组件归因

   • Table 1 与 Table 3：held-out paraphrase 上基座 62.7%、TRACER 10.0%（16/160）；channel-aware 为 68.8% 对 18.1%；defense-aware 为 70.0% 对 23.8%（38/160）。作者称这不是精确模板记忆，但也未主张对充分优化的 white-box 对手免疫。
   • 消融：RAG 评测下 answer-only 为 21.3%，复合奖励为 13.8%，完整 TRACER（含 ATRC）为 6.1%。作者称这排除“只靠通道暴露”作为唯一解释。
   • 混合证据（Table 6）：有用内容与注入放在同一通道。证据准确率 RAG/tool/agent 为 83.0%、82.5%、81.0%；基座翻转 ASR 为 58.1%、52.5%、46.3%，TRACER 为 13.8%、17.5%、16.3%。作者称高证据准确率不支持一律拒答或整段忽略上下文。

   缩放与其他模型族

   • 7B（Table 12、附录 D）：基座四通道平均 ASR 24.3%，3B 基座为 53.2%。RAG 训练 epoch 1 平均 9.4%，epoch 2 为 12.3%，终检 10.8%。作者称增益大多出现得早。
   • 无训练诊断（Table 7）：跨通道 ASR 跨度为 Qwen2.5-3B-Instruct 24.1 pp、Qwen2.5-7B-Instruct 27.1 pp、Llama-3.1-8B-Instruct 24.7 pp、Gemma-2-9B-It 22.0 pp、Mistral-7B-Instruct 24.5 pp。作者称每个被测模型都有跨渲染差距；训练时的缓解建立在 Qwen2.5 的 3B 与 7B 上。
   • 跨域（附录 G）：RAG 框定的 Natural Questions 与 TriviaQA 上，作者称 framing-aware 模型 ASR 相对较低，但 3B 干净准确率低，跨域瓶颈在能力而非鲁棒性。论文未给出这两项的具体数字。

   其他消融与分析

   • Table 11：wrapper 与 RAG 系统提示都用时 ASR 5.5%；只留 wrapper 10.0%（+4.5 pp）；只留提示 11.3%（+5.8 pp）；都去掉 60.5%（+55.0 pp）。这与主结果 6.1% 不是同一格。
   • Figure 4：干净准确率在 78–82% 附近，鲁棒准确率从 38% 到 80% 以上；作者称中间快照达到 3.8% ASR。附录 Figure 7 覆盖 28 个检查点，并称主要增益在第 2 个 epoch 结束前。
   • Figure 5：prompt injection 从 77.5% 降到 2.3%，preemptive answer 从 54.5% 降到 3.4%。正文未给出 reasoning rewrite 的分项 ASR。
   • Table 9：工具训练 ASR 从基座 59.4% 到 epoch 1 末 39.6%、epoch 2 晚 28.8%、终检 15.0%；干净准确率从 64.0% 到 77.5%。
   • Table 10：agent 训练平均 ASR 从基座 53.2% 到 epoch 1 的 31.6%、epoch 2 的 19.4%、终检 20.0%。作者称终检最强迁移落在 RAG 格而不是原生 agent 格。
   • 例外：defense-aware 仍为 23.8%；7B 在第 1 个 epoch 之后平均 ASR 变差；agent 终检平均差于 epoch 2。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称主攻击为模板式，完整训练限于Qwen2.5的3B与7B。

   作者指出的局限与后续方向

   • 攻击形式：主攻击是模板式的，用来固定载荷、只改变通道。held-out paraphrase 和针对性 defense-aware 扩大了测试，但不覆盖任意基于优化的攻击或多轮对手。（Limitations）
   • 训练范围：framing-gap 诊断跨多个模型族，完整 TRACER 训练只在 Qwen2.5 的 3B 与 7B 上评测。更广的架构、任务、随机种子和自适应策略是后续步骤。（Limitations）
   • 部署位置：TRACER 是训练时防御，与检索过滤、工具输出解析、策略监控和沙箱互补。作者预期部署系统会把通道感知训练与这些运行时防护结合起来。（Limitations）
   • 结果读法：原始结果应读作对已知或同族匹配攻击的受控鲁棒性，而不是对任意攻击的鲁棒性。（附录 A.1）
   • 跨架构训练：无额外训练的诊断支持跨模型的 framing-gap 判断；完整跨架构训练仍是后续工作。（附录 A.5）

   实验覆盖范围

   • 模型：训练评测为 Qwen2.5-3B-Instruct 与 Qwen2.5-7B-Instruct；Llama-3.1-8B-Instruct、Gemma-2-9B-It、Mistral-7B-Instruct 只做无 TRACER 训练的 framing 诊断（Table 7、附录 A.5）。
   • 任务与通道：GSM8K 为 2000 条训练、每检查点 200 条评测；通道为 followup、rag、tool、agent（Section 4）。另有 RAG 框定的 Natural Questions 与 TriviaQA（附录 G）；论文未报告其 ASR 与样本量。
   • 攻击与良性样本：三族模板攻击，训练与评测任务不相交；另测 held-out paraphrase、channel-aware escalation、defense-aware；训练含 15% 良性比例（Section 4、附录 A）。
   • 变体：RAG、tool、agent 专家，以及 RAG+tool 联合；3B 主配置三个 epoch，7B 报告到终检。跨框定矩阵在 Table 8。混合证据覆盖 RAG、tool、agent（Table 6）。
   • 论文未报告的项：未报告 LLM 裁判名称，准确率与 ASR 只依赖答案抽取；未报告各次运行的精确耗时（附录 H）；未报告人工核对验证器的样本条数（Table 4）；未报告 reasoning rewrite 的分项 ASR。

   收起这一问

6. 06总结一下论文的主要内容

   TRACER把呈现通道写入对抗训练，在GSM8K上把3B的RAG框定ASR从65.5%降到6.1%。

   TRACER 是针对间接提示注入的通道感知对抗训练：把文档、工具输出和智能体消息等包装写入优化，而不只在单一对话包装里测鲁棒性。

   • 问题：外部文本可能携带指令。作者报告，六个只对抗 follow-up 的中间快照，把同一载荷改成检索文档后，平均 ASR 从 18% 到 53%。作者把这称为 framing gap，并称 authority 只是一种可能解释。
   • 做法：三轮博弈先干净作答，再经采样通道注入，只给攻击后回答奖励。奖励分开“无效证据下保持”和“有效证据下修正”；ATRC 仅在干净答对且证据无效时，把被攻击轨迹对齐到干净承诺跨度。更新用 GRPO，加上相对参考策略的 KL。
   • 主结果：GSM8K、Qwen2.5-3B-Instruct 上，RAG 框定 ASR 从 65.5% 到 6.1%，干净准确率在 78–82%。联合 RAG+tool 的四通道平均 ASR 为 13.9%。7B 单 epoch 的四通道平均为 9.4%，终检平均 10.8%。
   • 其余结果：held-out paraphrase 上 TRACER 为 10.0%（基座 62.7%）；defense-aware 仍为 23.8%。作者称 RAG 训练偏深、工具训练更平，迁移不对称。无额外训练时，另外三个指令模型也有 22.0–24.5 pp 的跨通道跨度（Table 7）。
   • 作者结论：间接提示注入鲁棒性是通道条件化的。防御应在部署匹配的框定上训练，报告跨通道迁移，并与运行时防护并用。

   收起这一问

相关论文