CoER：用对抗协同演化与精炼防御自适应间接提示注入

论文试图解决工具调用智能体在任务执行中抵御自适应间接提示注入（IPI）的防御问题。

• 应用场景与重要性：工具增强语言智能体在交替执行推理与工具调用时，未受信任的工具返回结果可能混入恶意指令，诱发数据泄露、工具滥用或未授权操作（Section 1）。
• 现有防御的不足：作者称现有防御大多针对固定的、非自适应的攻击模式进行训练和评估，在面对能根据执行轨迹调整后续注入的自适应攻击时难以奏效（Section 1）。
• 核心观察与假设：在同一任务执行周期内，攻击者会根据防御者的可见响应修正后续注入，防御者动作反过来改变工具状态与后续注入机会；作者认为有效防御必须在训练期面对持续演化的攻击者并实现自适应（Section 1、2）。
• 提出的方案：论文提出结合多轮对抗共进化与验证者引导精炼的 CoER 框架（Section 1、4）。
• 威胁模型：
  • 目标：攻击者追求恶意目标 g（如数据外发），防御者追求安全完成用户任务 x（Section 3）。
  • 知识：攻击者不可访问防御者的私有系统提示词、参数、全局状态与内部推理思考（Appendix A）。
  • 能力：防御者控制工具调用；攻击者仅控制配置点位 Z 的工具返回文本，可单任务内多次注入并利用多达 6,000 字符的公开执行轨迹与历史尝试自适应生成载荷（Section 3、Appendix A）。
  • 受害系统：基于工具调用的语言模型智能体（Section 3）。

IPI 基准与防御

• InjecAgent（Zhan et al., 2024）、AgentDojo（Debenedetti et al., 2024）、Agent Security Bench（Zhang et al., 2025）、AgentDyn（Li et al., 2026）和 AgentLAB（Jiang et al., 2026）构建了工具使用环境下的 IPI 评测基准；Zhan et al.（2025）通过自适应评测探查固定攻击分布之外的弱点。
• 现有防御采用出处标记（Hines et al., 2024）、结构化输入与偏好对齐（Chen et al., 2025a,b,c; Wallace et al., 2024）、指令优先级嵌入（Wu et al., 2025）、提示词守卫（Li et al., 2025b）以及控制流约束（Debenedetti et al., 2025; Shi et al., 2025; Li et al., 2025a）。

自适应攻击发现与精炼

• Perez et al.（2022）、Hong et al.（2024）、Liu et al.（2025）利用红队提示与好奇心驱动奖励拓宽攻击发现；Lee et al.（2025）和 Dabas et al.（2026）使用 GFlowNet 与越狱词典支持安全微调；DialTree（Guo et al., 2026）通过对话树 RL 学习多轮越狱策略。
• 在 IPI 领域，AutoInject（Chen et al., 2026）和 PISmith（Yin et al., 2026）学习可迁移注入；RETA（He et al., 2026）在防御者强化学习前针对冻结基线生成攻击。

攻防共进化

• 终身安全对齐（Wang et al., 2025a）研究单轮越狱上的攻防迭代；MAGIC（Wen et al., 2026）建立自适应对话安全博弈；GPT-Red（Wallace et al., 2026）通过自博弈大规模红队；ARLAS（Wang et al., 2025b）将注入与网络智能体动作交替，联合训练攻防并让防御者面对历史攻击者。作者指出协同训练可能遗留漏洞。

基线方法与评测基准

• 实验对比的基线包括未经训练的 Base（Qwen3.5-9B）、针对固定模板训练的 PPO 与 GRPO、无历史对手池的共训练基线 NoPop，以及本地复现的 MAGIC、Lifelong Defender i2 LAT/RR、Meta-SecAlign-8B；评测基准为 AgentDyn、AgentDojo、AgentLAB 与 InjecAgent。

本文定位

• 作者称 CoER 将自适应攻击发现与防御学习置于反馈依赖的工具执行内部，使攻防双边均面对历史对手，并复用习得的攻击者种群收集经验证的强教师演示以完成精炼。

论文提出结合多轮对抗共进化与验证者引导精炼的 CoER（Co-Evolution and Refinement）框架。

问题设定与博弈建模

论文将单任务内交替的工具调用与注入建模为有限步、回合制、部分可观测的一般和马尔可夫博弈 G_c（Section 3）。每个轨迹由独立验证器判定攻击是否成功 I_atk 与任务是否完成 I_task。终端收益设定为：

• 攻击者收益：R_A = I_atk + 0.05(1 - I_atk)I_fmt，格式合法且非空时获得 0.05 的一次性格式奖励。
• 防御者收益：R_D = 1.0 · 𝕀(I_atk=0 ∧ I_task=1) − 0.2 · 𝕀(I_atk=0 ∧ I_task=0) − 1.0 · 𝕀(I_atk=1)，防御者仅在未被攻破且完成任务时获得正收益，被攻破直接判定 -1.0 且无法通过完成任务弥补（Section 4.2）。

阶段一：攻击者监督初始化（Attacker SFT）

为缓解稀疏终端奖励下的冷启动探索困难，论文利用强模型生成多样化攻击演示（Section 4.1）：

• 演示生成与筛选：使用 DeepSeek V4 Pro 与 Seed2.0 在训练配置上对基础防御者进行多轮攻击，由安全验证器筛选出 3,995 条成功对话（含 11,655 个攻击轮次）。
• 全轮次监督微调：对攻击者的所有生成轮次计算交叉熵损失进行微调，保留早期尝试与后续调整行为，得到初始攻击策略 π_A⁰；防御者则保持初始基座 π_D⁰（Section 4.1、Appendix B.1）。

阶段二：双边对抗强化学习（BA-RL）

双方在 12,705 个训练配置上展开在线对抗训练（Section 4.2）：

• 双边历史对手池机制：为防止过拟合于最新对抗配对，攻防双方各维护包含 4 个历史槽位与 1 个考察槽位的对手池。注入样本按 0.40（当前对当前 cc）、0.25（历史攻击者对当前防御者 hc）、0.25（当前攻击者对历史防御者 ch）、0.10（固定模板对当前防御者 tc）混合采样（Table 3）。
• 角色掩码 PPO 优化：各自拥有独立 Critic，仅对自己生成的 token 计算损失与 GAE 优势（γ=1.0, λ=0.95），工具输出与对手动作作为可见上下文被掩码。使用非对称裁剪项 ℓ_j^r,clip = min(ρ_j^r Â_j^r, clip(ρ_j^r, 1 − ϵ₋^r, 1 + ϵ₊^r) Â_j^r)，Actor 学习率为 5e-7，Critic 学习率为 1e-5（Section 4.2、Table 3）。
• 检查点选择：BA-RL 在第 430 步按防御者最高训练奖励选出防御策略 π_D^sel，同时保留最终攻击者种群 P_A^ret（Section 5.1）。

阶段三：种群引导策略精炼（Defender SFT）

为修复共进化后遗留的弱点并保持任务效用，利用保留的攻击者种群生成高质量防御轨迹（Section 4.3）：

• 自适应教师演示采集：使用保留攻击者对 GLM-5.2 与 DeepSeek V4 Pro 施加自适应攻击，筛选出攻击失败、任务成功、无工具异常且最多包含 2 次重复调用的轨迹，去重后获得 4,907 条受攻击演示与 853 条未触发重放演示（共 5,760 条，重放占比 14.81%）（Section 4.3、Appendix B.4）。
• 监督微调与冻结：以 π_D^sel 为初始权重，在教师轨迹的 assistant 轮次上进行全参数因果 LM 交叉熵微调，学习率 5e-6，训练 1 个 epoch（360 步）后冻结为最终防御模型 π_D^final（Table 4）。

实验设置

• 被测模型：同骨干基线涵盖 Base（Qwen3.5-9B）、PPO、GRPO、NoPop、BA-RL 与 CoER；跨模型参考包括 MAGIC（Qwen2.5-7B）、Lifelong Defender i2 LAT/RR、Meta-SecAlign-8B、Qwen3.6-27B、GPT-5.4、DeepSeek V4 Pro 与 GLM-5.2-Thinking（Section 5.1、Table 1）。
• 评测数据集与规模：主工作负载涵盖 7 个套件（AgentDyn 3 个：DailyLife、GitHub、Shopping；AgentDojo 4 个：Banking、Slack、Travel、Workspace）。每个评估种子包含 1,512 个案例（157 个干净案例、168 个固定模板案例、1,187 个自适应案例，排除 2 个预先声明的冲突案例）（Section 5.1、Table 5）。
• 基线方法：未经训练的 Base、针对固定模板的 PPO 与 GRPO、无历史对手池的对抗训练 NoPop、未精炼的在线防御者 BA-RL（Section 5.1）。
• 指标定义：U 为任务完成率；ASR 为攻击成功率；Safe-U 为安全且完成任务的比例（Itask(1 - Iatk)）；U - Safe-U 衡量被攻破但完成任务的比例（Section 5.1）。
• 评审方式：采用基于函数轨迹或最终状态的确定性谓词独立判定攻击与任务结果，评测中未使用 LLM 评审打分（Section 4.2、Appendix A）。
• 样本量与重复次数：固定检查点在评估种子 0、1、2 上独立评估 3 次（每模型 4,536 次执行），报告均值与样本标准差（Section 5.1）。

主结果

下表展示了同骨干基线在主工作负载上的评测表现（据 Table 1a）：

表格较宽，可左右滑动

• 降低自适应攻击成功率并提升安全效用：作者称 CoER 在同骨干基线中取得最高的自适应 Safe-U（76.24%）与最低的自适应 ASR（0.22%），同时在无攻击条件下 Clean U 达到 80.47%（Section 5.2）。
• 双边历史对手池优于单边与无种群机制：在 Defender SFT 前的单次运行消融中，双边历史使自适应 Safe-U 达到 54.09%，高于无种群 NoPop（51.73%）、纯防御端历史（52.15%）与纯攻击端历史（52.65%）（Section 5.2、Table 10）。
• 精炼阶段带来显著安全提升：在 3 个评估种子下，Defender SFT 使平均自适应 ASR 从 BA-RL 的 25.78% 降至 0.22%，自适应 Safe-U 从 54.84% 提升至 76.24%（Section 5.2）。

外部基准泛化评测

• 测了什么：在外部基准 AgentLAB（GPT-5.4 发起长程自适应攻击）与 InjecAgent（Base 与 Enhanced 载荷），以及官方 AgentDyn / AgentDojo 协议下测试泛化防御能力（Section 5.3、Table 2）。
• 结果：在 AgentLAB 任务注入下，CoER 的 ASR 为 14.12%，Safe-U 为 77.13%（Base 分别为 37.41% 与 37.83%）（Table 2、Table 13）；在 InjecAgent 上，CoER 在 Base 载荷下 ASR 为 0.00%（0/1043），Enhanced 载荷下为 1.97%（20/1016）（Table 14）。
• 作者解读：作者称 CoER 在未参与训练的外部载荷和独立攻击者设置下表现出泛化防御能力，但 AgentLAB 上 14.12% 的 ASR 说明仍存在残余脆弱性（Section 5.3、Appendix D）。

精炼归因与持续对抗鲁棒性

• 测了什么：在 2×2 消融中交叉初始化来源（Base 与 BA-RL）和精炼数据源（固定攻击与种群衍生），并在多攻击者轮流攻击（1 至 8 次累积预算）及冻结防御者后继续训练攻击者（a200 继训至 a270）测试持续对抗鲁棒性（Section 5.4）。
• 结果：2×2 归因显示，BA-RL 初始化为自适应 Safe-U 增加 8.42 个百分点，种群数据增加 10.36 个百分点（Table 1c）；在累积 8 次攻击下，CoER 的联合 ASR 为 4.97%（Table 8）；在后置攻击者强化学习中，攻击者在 a230 达到峰值 Effective ASR 为 0.59%（Figure 5）。
• 作者解读：作者称共进化既提供了更强的防御初始权重，也提供了能诱导有效精炼演示的攻击者种群，两者结合效果最佳（Section 5.4）。

攻击者演化与执行反馈消融

• 测了什么：通过冻结交叉博弈评估攻击者能力提升，并测试攻击者利用执行反馈时的效果（Section 5.5、Table 17、Figure 4a）。
• 结果：攻击者面对 Base 时，Effective ASR 从初始的 38.80% 经 SFT 升至 49.55%，经 BA-RL 升至 65.65%（Figure 4a）；反馈消融显示，完整反馈使 ASR 达到 38.75%，去除全部反馈使 ASR 降至 29.57%，去除先前尝试使 ASR 降至 35.80%（Table 17）。
• 作者解读：作者称共进化增强了攻击能力，训练出的攻击者确实利用了执行后果与任务对齐的历史信息进行自适应调整（Section 5.5）。

其他消融与分析

• 单任务内注入预算敏感性：注入上限由 1 增至全部时，CoER 的 ASR 维持在 0.00%–0.17%，Safe-U 在 70.94%–72.28%（Table 9）。
• 工具调用长度分层：按干净执行工具调用数分为短（≤3）、中（4–7）、长（≥8），CoER 在长任务中 Safe-U 达到 54.29%、ASR 为 0.52%（Table 11b）。
• 官方 AgentDyn 协议下的单领域表现：在 Travel 套件中，CoER 的 Safe-U 相比 BA-RL 降低了 15.00 个百分点（82.14% 降至 67.14%），此时 ASR 保持在 2.86% 不变，反映出任务完成率的下降（Section 5.3、Table 12）。
• 失败案例机制分析：在代码库操作案例 R4 中，CoER 成功避开恶意操作，但输出了截断工具调用导致合法任务失败（Appendix G）。

作者指出的局限与后续方向

• 强教师依赖与数据生成成本：方法结合了双边强化学习与来自强教师模型的验证演示，精炼步骤增加了数据生成成本并带来对教师模型的依赖（Section 6）。
• 顺序三阶段流程：SFT 初始化、BA-RL 与 Defender SFT 必须按顺序执行，增加了训练流程的复杂度（Section 6）。
• 种群管理超参数敏感性未充分表征：种群管理引入了多个超参数，其敏感性尚未得到完全表征（Section 6）。
• 泛化范围未在其他框架与模态验证：实验评估仅覆盖了 AgentDyn 相关的环境套件，对其他智能体框架、非文本模态或更大模型骨干的泛化性仍未经测试（Section 6）。
• 攻击者与防御者同族模型的局限：攻击者与防御者共享相同的基座模型系列（Qwen3.5），异构攻击者可能会暴露同族共进化未能发现的安全弱点（Section 6）。
• 后续改进方向：作者指出改进奖励设计或可减少对教师的依赖，引入多样化攻击者种群有望拓宽漏洞覆盖范围（Section 6）。

实验覆盖范围

• 被测模型范围：实验主要基于 Qwen3.5-9B 进行完整的共进化与精炼，跨模型仅本地复现了 MAGIC (Qwen2.5-7B)、Lifelong Defender i2 系列、Meta-SecAlign-8B 及商业闭源模型的推断对比，未测试更大参数规模的共进化训练（Section 5.1、Table 1b）。
• 环境与领域范围：主要评测包含 AgentDyn 与 AgentDojo 的 7 个领域（DailyLife、GitHub、Shopping、Banking、Slack、Travel、Workspace），以及外部基准 AgentLAB 与 InjecAgent，均为基于文本的交互环境（Table 2、Table 5）。
• 攻击者接口与交互信息：自适应攻击者在注入点接收规范化的目标契约、公开执行轨迹与历史尝试反馈，论文未开放防御者私有指令、系统提示或内部推理内容给攻击者（Appendix A）。
• 教师模型选择：演示精炼阶段仅使用了 GLM-5.2 与 DeepSeek V4 Pro 作为教师，论文未报告其他教师模型或无教师情况下的自精炼效果（Section 4.3、Appendix B.4）。
• 未报告的信息：论文未报告端到端在线训练与教师数据生成的累计计算耗时或代币成本（Appendix B）。

• 研究定位：针对语言模型智能体在工具调用中易受自适应间接提示注入（IPI）威胁且现有防御多受限于固定攻击模式的问题，提出了融合攻防双边对抗共进化与验证者引导精炼的 CoER 框架。
• 核心方法：将多轮任务交互建模为一般和马尔可夫博弈，首先利用成功的攻击轨迹对攻击者进行 SFT 冷启动，随后通过双边历史对手池的对抗 PPO 强化学习共同推进攻防双方能力，最后利用保留的攻击者种群向强教师模型发起挑战，收集经过安全性与任务完成度双重验证的轨迹微调防御者。
• 核心实验结果：
  1. 在七个领域的 1,187 个自适应案例评测中，CoER 在 Qwen3.5-9B 骨干上将自适应 ASR 降至 0.22±0.13%，Safe-U 达到 76.24±1.08%，无攻击任务成功率 Clean U 保持在 80.47±1.47%（Table 1a）。
  2. 归因实验表明，相比 Base 初始化与固定攻击数据，BA-RL 初始化带来 8.42 个百分点的 Safe-U 提升，种群衍生数据带来 10.36 个百分点提升，二者结合取得最佳效果（Table 1c）。
  3. 在外部基准 AgentLAB 任务注入下，CoER 的 ASR 为 14.12%、Safe-U 为 77.13%（Table 2、Table 13）；在 InjecAgent 基础载荷下实现 0.00% ASR（Table 14）。
  4. 面对 4 个历史攻击者共 8 次累积尝试，CoER 的联合 ASR 维持在 4.97%（Table 8）；在后置单边攻击者强化学习中，攻击者最高 ASR 仅为 0.59%（Figure 5）。
• 结论与启示：作者认为对抗共进化能够有效提升攻击与防御策略空间，并将自适应攻击发现与经验证的教师演示相结合，为复杂工具调用场景下的智能体安全防御提供了可行路径。