RAISED：用自蒸馏抵御工具调用中的提示注入

工具智能体必须处理不可信工具输出，间接提示注入可劫持任务，而现有训练时防御常损害良性效用。

• 场景：作者称浏览、编程与企业助手经 API 或 MCP 处理网页、邮件、文档和工具输出。隐藏指令会把智能体带离既定任务；作者引用了窃取生产力工具数据、操纵基于 MCP 的智能体等案例。
• 不足：作者称提示、过滤与训练时对齐都要在鲁棒性与效用间权衡。外部目标上的 SFT 会移开基座行为；DPO（含 SecAlign++）在含注入上下文上做偏好优化，并不直接匹配干净上下文的预测分布。
• 观察：防御后的模型可把良性工具任务做到中途，再回避依赖工具输出指引的授权步骤。作者认为训练信号持续推离跟随注入，对同一通道上的合法可执行信息给的信号少得多。
• 做法：提出 RAISED（Robust Attack Invariance through SElf-Distillation）。冻结副本自生成必须按合法工具指引才能完成的场景及注入，学生再匹配教师的干净上下文行为。
• 威胁模型：
  • 系统：工具型智能体。观察是唯一来自信任边界外的上下文，其中也可含完成任务所需的合法指示。
  • 目标：最终状态满足 Gadv，如非预期工具调用、泄露或有害动作。若目标是工具调用，假定该工具已在菜单 T 中。
  • 知识：不能访问梯度或 logits。adv 独立于被防御模型选定，即静态攻击，与 InjecAgent、AgentDojo、AgentDyn 一致。
  • 能力：控制一个或多个工具输出，在观察的选定位置插入 adv。不控制系统提示、用户请求、模型参数与解码。

论文 Related Work 按间接注入、防御、一致性训练与自生成数据来组织。

间接提示注入

• 从直接注入到工具观察：Greshake et al. (2023) 指出检索内容中的指令可被当成合法用户指令。Perez and Ribeiro (2022)、Branch et al. (2022) 讨论直接提示注入。后续工作映射智能体攻击面。
• 交互环境基准：Zhan et al. (2024)、Debenedetti et al. (2024)、Li et al. (2026) 把注入放进工具输出或第三方内容，对应后文的 InjecAgent、AgentDojo、AgentDyn。

防御

• 预防与检测：Liu et al. (2024a) 把防御分为阻止注入生效与推理时检测，并把训练模型自身抵抗列为后续方向。预防包括 spotlighting（Hines et al., 2024）、prompt sandwiching（Learn Prompting, 2024），以及在模型外固定控制流的 CaMeL（Debenedetti et al., 2025）。检测包括 PromptGuard（Wan et al., 2024; Chennabasappa et al., 2025）；论文写其鲁棒性被另行基准化并被规避。
• 模型层训练：指令层级（Wallace et al., 2024）、指令优先级嵌入（Wu et al., 2025）、不训练跟随指令的任务模型（Piet et al., 2024）、结构化查询加微调（Chen et al., 2024），以及偏好优化（Chen et al., 2025; 2026）。作者指出 RAISED 以干净上下文预测分布为直接目标；SecAlign++ 也从基座得到偏好响应，但是序列级偏好目标，而不是匹配预测分布本身。

一致性训练与自蒸馏

• 既有设定：Chua et al. (2025) 用一致性训练对付有偏思维链，Irpan et al. (2025) 用于阿谀与越狱，二者都在单轮提示上。自蒸馏的教师可条件于文档、已验证推理、安全上下文或用户后续。Yang et al. (2024) 用自生成目标限制微调遗忘。
• 作者指出的差别：RAISED 用到多轮工具轨迹，注入位于工具观察内，合法指引可能共用该通道；从存下的 top-K 教师分布做 off-policy 蒸馏，并由被防御模型生成场景与攻击。

自生成工具数据

• 合成与过滤：Toolformer、ToolAlpaca、ToolLLM、APIGen、ToolACE 等用语言模型合成指令或函数调用数据。APIGen 与 ToolACE 还用执行检查过滤。作者称既有注入训练流水线依赖模板化攻击，RAISED 则在解完场景后让被防御模型自己写注入。

基线与基准：对照为 Vanilla、Prompt Sandwiching、Spotlighting、PromptGuard 2、SecAlign++。注入基准为 InjecAgent、AgentDojo、AgentDyn；良性工具用 ToolTalk、BFCL、WorkBench、Multi-Mission Tool Bench、AsyncTool；通用能力用 LM Evaluation Harness 上的十个基准。

作者把本文放在模型层防御上：不另学一套防御策略，而是让模型在注入下恢复自己在干净上下文上的行为，并专门生成必须执行合法工具指引的轨迹。

RAISED 用同一冻结检查点当数据生成器与教师，可训练副本当学生。自生成针对不按合法工具指引行动的失败，自蒸馏限制干净输入上的分布漂移。

问题设定与不变量

• 智能体看到系统提示、用户请求 u 与工具菜单 T。每步调用工具得到观察，或给出最终答案。成功当且仅当 Gu(sJ)=1。形式定义在附录 A。
• 观察可含合法指示。作者认为忽略其中全部指示，就会落到第 1 节那种完不成授权任务的失败。
• 注入上下文只在工具观察内不同于干净上下文。目标是 B_θ(c̃) ≡ B_θ0(c)，即 (Gu(sJ), Gadv(sJ)) 的联合分布相同，从而 Uatk 等于未防御模型的干净效用，ASR 只停在干净上下文上的偶然水平。作者强调这不要求忽略工具输出，并要求同时报告 U 与 Uatk，因为少调用工具也会压低 ASR。

阶段一：自生成

• 三次独立调用，不携带模型状态：生成场景、求解并验证、生成攻击。每个模型族用同一流程处理自己的场景，直到留下 10,000 条已验证轨迹。
• 场景含 JSON 世界状态、3–6 个工具、用户请求与 Python 成功检查。工具实现对智能体不可见。请求写终局而非调用序列，依赖链通常 3–8 步。场景与攻击生成温度为 0.9。
• 生成偏向三类结构（Table 7）：工具输出才揭示必需步骤；中间观察给出恢复或补全路径；看似完成的操作返回未完成结果。另采样只读多步查询、必须向用户澄清的缺值、由早先输出计算后续参数，以及中途更换工具菜单。各模型族共享采样概率：前两类 0.40，follow-through 0.35，read-and-report 与 clarification 各 0.25，derived-value 0.15。surfaced guidance 中，表面形式像注入的合法指引以 0.30 采样。概率按每种结构 50 次试点的保留率校准。
• 求解用标准工具接口、贪心解码。状态改变类任务要求成功检查在初态失败、终态通过。攻击在验证之后生成；攻击者工具同时放进干净与注入上下文。写入者看不到用户请求和完整求解轨迹，只为选中的工具输出生成文本并选择插入位置。

阶段二：注入增强自蒸馏

• 学生对每个模型生成位置最小化 L(θ)=𝔼_{τ∼ D}∑_{i∈ I(τ)}D_KL(q_i∥ p_θ(·∣ h′_i))。h' 为原历史，或把存下的注入填进工具输出后的历史。教师分布 qi 始终来自冻结模型在干净轨迹上的记录。
• 干净上下文上，学生被锚在原分布。注入上下文上，合法工具内容不变，学生要在对抗片段下恢复原预测。作者称这是上述不变量的 token 级实现。
• 不存全词表。每位置保留教师 top-K=256，其余质量并入一个残差桶，在 K+1 个结果上算 KL。作者称残差桶质量一般在 10^-5 量级。学生从同一检查点初始化，LoRA 加在全部线性层，学习率 5×10^-5，批大小 16，在 10,000 条上训练一个 epoch，注入比例 0.5。

与偏好防御的数据差别

• 主比较中的 SecAlign++ 仍用其原配方：Cleaned-Alpaca 单轮偏好对，不含工具调用；推理时把工具响应当成其模板的 input 角色。RAISED 的教师目标则是干净上下文上的下一 token 分布。控制数据后再比目标的实验在第 E 节。

实验设置

• 模型：主实验为 Gemma-4-12B-it 与 Nemotron-3-Nano-30B-A3B。附录 D.6 增加已处于较低 ASR 的 Qwen3.8-27B。附录 D.2 写三者分别为稠密注意力、混合 Mamba 式层与 MoE、线性注意力与全注意力交替。
• 防御：Vanilla；Prompt Sandwiching；Spotlighting 的 delimiting；PromptGuard 2（86M，工具响应安全分数低于 0.5 则整段替换）；SecAlign++；RAISED。训练类防御为三种子 mean±std，其余评一次（Appendix D.1）。
• SecAlign++ 预算：DPO，β=0.1，LoRA rank 16、α=32，从 Cleaned-Alpaca 抽 5,008 条、313 步、批大小 16。主文用 313 步，以避免更大的效用下降。
• 注入基准：InjecAgent 1,054 例，含 Direct Harm 与 Data Stealing、Base 与 Enhanced，17 个用户工具、62 个攻击者工具。AgentDojo 覆盖 workspace、banking、travel、slack，报告 targeted ASR。AgentDyn 覆盖 Shopping、GitHub、Daily Life，先算套件分数再取不加权平均。论文未给出后两个基准的案例条数。
• 指标：U 为干净回合成功率，Uatk 为注入回合上原任务仍成功的比例，ASR 为 Gadv 成立的注入回合比例。判定用各基准官方谓词。论文未写 LLM 评审模型，也未报告人工一致性。
• 其他评测：良性工具为 ToolTalk、BFCL 的 multi_turn_base、WorkBench、Multi-Mission Tool Bench、AsyncTool。通用能力为 LM Evaluation Harness 上十个基准。漂移分析只在 Gemma-4-12B-it 上做。

主结果

下表只列 Vanilla、SecAlign++ 与 RAISED。前七行据 Table 1，最后一行据 Table 8。

表格较宽，可左右滑动

条件	Vanilla	SecAlign++	RAISED
Gemma，AgentDojo，ASR	39.5%	1.1±0.2%	1.0±0.3%
Gemma，AgentDojo，Uatk	64.0%	74.8±0.7%	80.5±0.5%
Gemma，AgentDojo，U	84.5%	77.3±2.2%	83.5±0.8%
Gemma，AgentDyn，ASR	53.4%	1.0±0.1%	1.6±1.8%
Gemma，AgentDyn，U	61.7%	45.6±0.8%	60.0±2.4%
Nemotron，AgentDojo，ASR	11.7%	4.0±0.7%	0.5±0.1%
Nemotron，InjecAgent Enhanced，ASR	33.7%	8.8±1.4%	1.0±0.6%
Qwen，AgentDyn，ASR	4.2%	1.5±0.2%	0.1±0.2%

• 作者解读：作者称 Gemma 上 RAISED 与 SecAlign++ 的鲁棒性相近，但干净效用保留更多，AgentDyn 上尤其如此。摘要里的“1 个点”和 SecAlign++ 的“7 个点下降”对应表中 AgentDojo 的 U。表中 Gemma 的 AgentDyn ASR 一行，RAISED 并不低于 SecAlign++，标准差也更大。
• Nemotron：作者称 RAISED 的鲁棒性优于 SecAlign++，干净效用与 Vanilla 相当。未入表的 AgentDyn：Vanilla 的 U / Uatk / ASR 为 25.0% / 19.6% / 17.6%，RAISED 为 25.0±0.0% / 25.4±1.2% / 1.9±0.6%，SecAlign++ 为 22.2±0.8% / 20.7±0.5% / 7.8±0.3%（Table 1）。
• 不能单看 ASR：Gemma、AgentDojo 上 PromptGuard 2 的 ASR 为 16.1%，Uatk 为 42.9%，Vanilla 的 Uatk 为 64.0%。Spotlighting 的 ASR 为 43.9%，高于 Vanilla 的 39.5%（Table 1）。Gemma 的 InjecAgent 上 Vanilla 已是 Base 1.0%、Enhanced 0.4%，训练防御为 0.0±0.0。

效用代价与内部测量

• 分布漂移：500 道良性题，来自 ARC-Easy、TriviaQA、GSM8K、SciQ 各 125 题，只保留基座答对且不易引发拒答的题。SFT、DPO、自蒸馏共用 5K 注入轨迹、rank-16 LoRA、313 步。Fig. 2 中自蒸馏前向与反向 KL 均为 0.0010，top-1 一致率 0.993；SFT 为 0.044 / 0.055 与 0.953，DPO 为 0.029 / 0.030 与 0.968。作者报告自蒸馏相对 SFT 低 44× 与 55×，相对 DPO 低 29× 与 30×。作者认为这并未确立漂移直接造成下游效用损失。
• 行为失败：Figure 3 与 Section B.2 用无注入任务举例，不估计发生率。Table 5 的 7 个 Gemma 例子里 SFT 全部未完成，SecAlign++ 完成其中一部分。Table 6 的 4 个 Nemotron 例子里 SecAlign++ 有 2 个未完成，SFT 全部未完成。作者称基座与 RAISED 完成这些例子。
• 内部状态：88 对 AgentDojo 干净/注入上下文，Gemma-4-12B，48 个解码块（Appendix D.7）。Table 11：开始注入工具调用的比例（72 对）为基座 62.5%、SecAlign++ 13.9%、RAISED 12.5%；相对基座干净预测的 KL 为 0.338、0.062、0.011 nats。块 31 的注入效应相对 L2 为 0.45、0.29、0.23。干净上下文上块 47 到基座的距离，SecAlign++ 为 0.19，RAISED 为 0.12。作者称这与降低注入敏感、同时少改干净行为一致。文本未给出的曲线形状不转述。

良性能力、通用能力与 Qwen

• Gemma 工具基准（Table 2）：RAISED 的 WorkBench 为 61.5±0.7，Vanilla 为 55.9；BFCL 为 57.2±0.6 对 57.0，MMT-Bench 为 52.7±0.7 对 53.0。作者认为一种可能是反复训练已验证的多步轨迹，但没有做因果隔离。
• 下降与推理时防御：Nemotron 上 RAISED 的 ToolTalk 为 42.7±1.6（Vanilla 46.2），AsyncTool 为 35.7±0.1（37.0），BFCL 为 32.8±0.2（30.0）。Prompt Sandwiching 把 Gemma 的 BFCL 从 57.0 降到 33.0，把 Nemotron 的 WorkBench 从 21.3 降到 12.9。作者称没有证据表明 RAISED 靠少用工具来压低 ASR。
• 通用能力与低 ASR 模型：作者称 Table 3 中两族模型的 RAISED 接近 Vanilla，正负都有，没有系统性下降。Table 10 中 Qwen 的 GPQA 为 Vanilla 77.6、RAISED 74.2±1.1。Table 8 中 AgentDojo ASR 从 5.8% 到 0.9±0.4%；InjecAgent Base 上 Vanilla 为 0.0，RAISED 为 0.1±0.0。

目标与数据消融

• 固定 Glaive 数据比目标（Table 14，Gemma）：自蒸馏的 AgentDyn U 为 55.5±0.8，DPO 为 48.6±0.3，SFT 为 17.5±3.5；ASR 为 2.1±1.3、2.3±1.5、1.5±1.2。作者称相近低 ASR 下自蒸馏保留更多效用；SFT 的 ASR 略低，效用代价大。
• 固定目标比数据：自生成加 DPO 的 AgentDojo U / ASR 为 82.2±0.5 / 1.0±0.1，Glaive 加 DPO 为 79.1±0.6 / 1.8±0.1；AgentDyn U 从 48.6±0.3 到 55.6±3.4。自生成加自蒸馏即主方法。关掉高层结构模式后，U 为 80.8±0.4 与 56.7±2.1，接近 Glaive 自蒸馏的 80.1±0.6 与 55.5±0.8。作者称收益主要来自对准想保留的行为。论文未给出该设置的 ASR。

其他消融与分析

• 10K 日程的前向/反向 KL：SFT 0.0609 / 0.0773，DPO 0.0370 / 0.0402，自蒸馏 0.0016 / 0.0017（Section B.1）。
• Nemotron 上 SecAlign++ 延至 625 步：AgentDojo ASR 0.7±0.0%（313 步为 4.0±0.7%），MBPP 13.4±2.7（313 步 64.6±1.0），MMLU 42.8±0.3（48.3±0.7）（Table 12、13）。
• 作者因此在主文使用 313 步。Gemma 在该预算下 InjecAgent 与 AgentDojo 的 ASR 已接近 0，继续训练主要降效用（Appendix C.4、D.8）。
• Nemotron、InjecAgent Base：Vanilla 26.7%，SecAlign++ 6.4±0.9%，RAISED 3.5±0.5%（Table 1）。
• Qwen、AgentDojo：Vanilla 的 U / Uatk / ASR 为 88.7% / 80.0% / 5.8%，RAISED 为 87.3±0.5% / 84.1±0.1% / 0.9±0.4%（Table 8）。
• Gemma、AgentDojo 上 Prompt Sandwiching 的 ASR 为 34.1%，U 为 83.5%；Spotlighting 的 Uatk 为 55.8%（Table 1）。

作者指出的局限与后续方向

• 规模：已评三个模型族，尚未评更多模型族或万亿参数前沿模型。该规模上安全–效用行为是否保持，作者称为经验问题（Section G）。
• 继承干净行为：自蒸馏保留模型自身行为，不提高正确性。若干净模型选错工具、计划差或幻觉，注入下也会保留。作者称这是对抗上下文影响的防御，不是一般对齐或安全干预（Section G）。
• 软蒸馏成本：需要离线教师前向并存储截断分布。1 万条轨迹存 top-256 约 15 GB/模型；本文教师生成在八个并行工人上不到一小时。作者称前沿规模更贵，并以 Kimi K3 每 token 激活约 104B 参数、约为本文稠密模型的 4× 到 9× 为例（Section G）。
• 自适应攻击：用 PISmith 做黑盒优化时，多数模型–防御配置的奖励恒为 0。作者称优化失败不是自适应鲁棒性的证据，经验主张限于 Section 3.2 的静态设定；模型自适应提示注入仍是开放问题（Section F）。
• 失败模式发生率：Section B.2 的例子用于刻画失败，不估计部署中多常见。作者称对发生率以及防御在这类情形上的行为，做更广的定量评估仍是重要未来工作。

实验覆盖范围

• 被测模型为 Gemma-4-12B-it、Nemotron-3-Nano-30B-A3B 与 Qwen3.8-27B（Section 6.1、D.6）。
• 对照为 Vanilla、Prompt Sandwiching、Spotlighting 的 delimiting、PromptGuard 2 与 SecAlign++（Section 6.1）。
• 注入评测为 InjecAgent（1,054）、AgentDojo 四环境、AgentDyn 三套件；另有五个良性工具基准和十个通用基准（Section 6.2）。成功与攻击按官方谓词判定，论文未报告人工一致性。
• 训练类防御报告三种子 mean±std，其余方法评测一次（Appendix D.1）。主文 SecAlign++ 为 313 步，625 步的取舍在 Appendix D.8。
• 鲁棒性数字来自静态攻击（Section 3.2、F）。分布漂移测在 Gemma-4-12B-it 的 500 道独立题上（Section 4.1）。行为例子来自 AgentDojo、AgentDyn 与设计案例（Section B.2）。

RAISED 是面向工具型 LLM 智能体间接提示注入的训练时防御。

• 问题：智能体既要执行不可信工具输出中的任务相关指引，又要抵抗其中的对抗指令。作者认为既有训练防御会移开干净输出分布，并让模型停在本该执行的授权步骤上。
• 方法：冻结副本生成可执行场景、验证轨迹并写入注入，侧重必须按合法工具指引才能完成的情形。学生以 KL 匹配教师在干净轨迹上的 top-256 下一 token 分布；干净与注入上下文共用同一教师目标。
• Gemma：Table 1 中 AgentDojo 的 ASR 从 39.5% 到 1.0±0.3%，Uatk 从 64.0% 到 80.5±0.5%，U 从 84.5% 到 83.5±0.8%。SecAlign++ 的 ASR 为 1.1±0.2%，U 为 77.3±2.2%。AgentDyn 上 RAISED 的 U 为 60.0±2.4%，SecAlign++ 为 45.6±0.8%；该行 ASR 为 1.6±1.8%，并不低于 SecAlign++ 的 1.0±0.1%。
• 另两个模型：Nemotron 的 AgentDojo ASR 为 0.5±0.1%，SecAlign++ 为 4.0±0.7%，Vanilla 为 11.7%。Qwen 的 AgentDyn ASR 从 4.2% 到 0.1±0.2%（Table 8）。作者称良性工具与通用分数整体接近未防御检查点；同时 Nemotron 的 ToolTalk 从 46.2 到 42.7±1.6，Qwen 的 GPQA 从 77.6 到 74.2±1.1。
• 对照提醒：过滤可以压低 ASR 同时压低 Uatk。Gemma、AgentDojo 上 PromptGuard 2 的 ASR 为 16.1%，Uatk 为 42.9%（Table 1）。
• 作者结论：若期望行为已在干净模型中，防御训练应在攻击下保留它，而不是另学一套防御策略。作者同时称 RAISED 会继承基座错误，经验主张限于静态攻击，并应与访问控制、沙箱和最小权限一起使用，而不能替代它们。