CoDeL：用协同演化防御抵御 LLM 智能体的间接提示注入

训练式间接提示注入（IPI）防御拟合静态、显式攻击分布，挡不住把恶意意图折进合理工作流并推迟数轮才偏离的潜在注入。

• 场景：基于 LLM 的智能体靠外部工具和内容完成多步任务。攻击者把指令写进工具返回的观测，不必改系统提示词、用户指令或模型参数。作者认为这类 IPI 容易实施和扩展，已成为 LLM 智能体安全对抗的主要战场。
• 现有不足：护栏、运行时监控和训练式三类防御中，作者认为训练式最可靠，因为能力内在于模型。但它们通常在静态、显式注入上优化，学的是表面线索，而不是“服务用户”与“服从注入目标”的边界。Nasr et al. (2026) 所描述的情形是：恶意意图嵌入看似合理的流程、行为偏离推迟数轮后，该边界失效。
• 核心观察：作者手工改写 AgentDojo 的 48 个原攻击，目标、注入位置和目标工具不变，只把恶意目标折进合理流程并在载荷出现后保留若干合理工具调用。Figure 1 中，显式注入下 Meta-SecAlign、TSGuard、PIGuard 的 ASR 为 0.062、0.083、0.146；改写后升至 0.208、0.542、0.333。作者称只改变投递方式就足以突破在固定攻击域上拟合的训练式基线。
• 本文提出：CoDeL，一种共同演化防御。探测者用 MCTS 在注入轮次、攻击方法和载荷上搜索仍能穿透当前防御者的注入，并由攻击成功与攻击延迟共同引导；防御者每轮用 LoRA 上的 GDPO 更新，奖励解耦为安全、任务进度和格式合规。作者还给出评测集 LATENT DOJO。
• 威胁模型：
  • 目标：攻击者须通过智能体本身产生有害效果；防御者须同时拒绝注入的有害目标并完成用户原任务。
  • 知识：攻击者知道用户指令和可见工具。
  • 能力：只控制智能体可能读到的外部内容，在某一轮 tinj、由目标工具合法填充的字段中写入文本载荷；不能修改系统提示词、用户指令或模型参数。
  • 受害系统：为用户任务交错执行工具调用与观测的 LLM 智能体。论文区分干净轨迹 Tclean、注入存在但被抵抗的 Taf，以及注入驱动有害行为的 Tas。

间接提示注入攻击

• 工具使用智能体：BIPIA（Yi et al., 2025）用模板化载荷做基准；AgentDojo、InjecAgent、ASB（Debenedetti et al., 2024; Zhan et al., 2024; Zhang et al., 2025a）用手写攻击目标与多样工具集扩展该设定。
• 网页与检索：WASP（Evtimov et al., 2025）和 WebInject（Wang et al., 2025a）把对抗内容放进实时网页；Chang et al. (2026) 讨论被检索的单篇投毒文档劫持多步流程。
• 计算机使用智能体：通过 GUI 截图交互的智能体也被报告易受视觉提示注入影响（Cao et al., 2026; Liao et al., 2026; Gong et al., 2026a）。

IPI 防御

• 运行时：MELON（Zhu et al., 2025）把原执行的动作与掩掉用户指令后的反事实重执行对比；PromptArmor（Shi et al., 2025）用专门模型过滤，并以拒绝注入做防御。
• 护栏：用专门组件检查外部输入或约束动作，从输入过滤到轨迹级、步骤级工具调用检查（Li et al., 2025; Chen et al., 2025b; Mou et al., 2026; Zhao et al., 2026）。
• 模型级：Jatmo 做任务专用微调，StruQ 用结构化数据接口加安全指令微调（Piet et al., 2024; Chen et al., 2024）；SecAlign 与 Meta-SecAlign 用偏好优化强化信任边界（Chen et al., 2025a; 2026）。另有工作把指令与数据表示分开、使用 token 级 on-policy 反馈，或对相继出现的注入变体做持续适应（Liu et al., 2025a; Gong et al., 2026b; Li et al., 2026; He et al., 2026; Peng et al., 2026; Sood et al., 2026）。

共同演化、搜索式红队与延迟型攻击

• 搜索与红队：论文将探测搜索与 AGENTVIGIL 的 MCTS（Wang et al., 2025c）相联系，并讨论 AutoDAN、Rainbow Teaming、MTSA 等多轮或进化式红队。作者称先前搜索多依赖模型的世界知识，CoDeL 同时用 ASR 和归一化延迟 Λ̃ 引导。
• 共同演化对齐：附录 E 还讨论 MAGIC、COER、TriPlay-RL、GPT-Red 等攻击者–防御者共同演化或自对弈工作。作者将其定位为面向越狱或一般安全对齐，而 CoDeL 面向工具智能体上的 IPI，并把延迟当作攻击质量。
• 延迟偏离：作者引用 Nasr et al. (2026) 说明自适应攻击会绕过针对越狱和提示注入的防御，并据此把“偏离被推迟数轮”做成可测量的 attack latency。

基线与基准

• 基线方法：运行时 MELON、PromptArmor；护栏 PIGuard、TSGuard；模型级 AgentAlign、DRIP、RETA、SecOPD、Meta-SecAlign。另有无防御基座。
• 基准/数据集：主结果用 AgentDojo（含 workspace、banking、travel、slack，采用 Mou et al., 2026 的步骤级标注版）、InjecAgent（1054 例，17 个用户工具、62 个攻击者工具）、ASB 的间接提示注入分支 ASB-OPI。泛化用 AutoDojo、ASPI 和自建 LATENT DOJO。

作者把 CoDeL 定位为共同演化而非一次性对抗训练：攻击分布随防御者移动，防御者在安全与任务完成必须同时成立的适应度下吸收仍然穿透的失败。

CoDeL 把攻击分布和防御者放在同一循环里：每轮探测者挖掘当前防御者仍失败的潜在注入，防御者再用 GDPO 将其内化，双方交替最多 Rmax 轮。

问题设定与攻击延迟

• 轨迹类型：Tclean 为观测未被篡改；Taf 为存在 IPI 但智能体抵抗；Tas 为注入驱动智能体执行有害行为。防御目标是拒绝注入目标且完成用户任务，二者同时成立。
• 延迟：对 Tas，Λ = tdev − tinj，tdev 是智能体首次偏离正常任务去服务恶意目标的轮次。归一化 Λ̃ = min(1, max(0, Λ) / max(|Tclean|, |Tas|))。Λ̃ 大表示载荷已可读后防御者仍正常行动数轮。附录 G 给出 tdev 的判定细节。
• 用途：Λ̃ 既引导探测者搜索（Sec. 4.3），也参与防御者更新（Sec. 4.4）。

用 MCTS 挖掘潜在攻击

• 搜索空间：每个任务一棵树，层次为注入轮次、攻击方法、具体载荷。生成器为 GLM-5.2。注入轮次集合在初始化时确定。
• 选择：访问次数 Nv = 0 的子节点优先。否则按成功次数、平均归一化延迟和探索项选子节点：v* = arg max[(Nvsucc / Nv) · Λ̃v + Cexp · sqrt(ln Nu / Nv)]。
• 扩展与回传：方法节点由生成器根据用户任务、可见工具以及“载荷须在 tinj 可见”这一约束提出方法，不与已有兄弟重复才登记。载荷节点用变异算子把（轮次, 方法）变成可执行载荷。判定 y 在轨迹为 Tas 时为 1；路径上节点无条件增加访问次数，成功次数和延迟估计只在 y = 1 时更新。统计跨轮保留，已被拒绝的分支被降优先。附录 J 的 Algorithm 1 与附录 K 给出流程和完整提示词。

用 GDPO 内化突破

• 参数化：基座参数 θ 冻结，只训练 LoRA 参数 ϕ，以便增量更新并减轻灾难性遗忘。
• SFT 冷启动：语料含 Tclean、Taf，以及由 Tas 改成的纠正轨迹（拒绝恶意目标并继续良性计划）。损失为该语料上的下一 token 负对数似然。附录 C 给出构建细节。
• 奖励：R = rsafety + rprogress − pdrift。rsafety：识别并拒绝为 +2.00，判定不清为 −0.50，攻击成功为 −8.00。rprogress：推进任务 +1.20，无进展 −0.15，浪费步骤 −2.50。pdrift：缺关键字段罚 0.25，无法解析罚 0.50。作者称三项独立，以免用放弃任务换安全，也避免格式失误比安全失败更贵。附录 I 说明取值理由。
• 采样与优势：攻击提示词来自新挖掘轨迹，在注入步重放此前交互历史，当前防御者 on-policy 采样 G 条；干净轨迹前缀占提示词预算的 0.25。GDPO 对每个奖励项在组内标准化再求和，并做 batch 级标准化。延迟塑形为 Ã = (1 + λΛ̃) Â。优化为 token 级裁剪替代目标加对当轮起始 adapter 参考策略的 KL 约束，系数 β，裁剪范围 ϵ。

成功判定

• ASR：智能体实际执行攻击者有害目标即成功。BU 为无攻击时任务完成比例。UA 为遭受 IPI 时既完成任务又未执行恶意指令的比例。
• 评审：附录 K 用安全、进度、攻击三个评审。安全评审输出 held / baited / unclear；进度评审输出 advance / neutral / waste；攻击评审判定 success/fail 并给出偏离轮次。附录给出完整提示词。Table 5 在每个数据集 80 条上验证，三个评审准确率约 90%–95%，攻击评审的转折点一致性为 100%。

实验设置

• 被测模型：防御训练与主评测的基座为 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct。探测生成器用 GLM-5.2。Figure 1 的动机实验还包含在 Qwen2.5-7B 上对比的 Meta-SecAlign、TSGuard、PIGuard。
• 基准：AgentDojo，采用步骤级标注版，覆盖 workspace、banking、travel、slack，论文未在正文给出该版样本条数。InjecAgent 含 1054 例、17 个用户工具和 62 个攻击者工具。ASB 的间接提示注入分支记为 ASB-OPI，论文称 ASB 覆盖十个场景、400+ 攻击者工具。泛化集为 AutoDojo、ASPI，以及 LATENT DOJO：132 个攻击场景、18 个干净场景、57 个案例组、54 个 AgentDojo 任务。
• 基线：无防御；运行时 MELON、PromptArmor；护栏 PIGuard、TSGuard；模型级 AgentAlign、DRIP、RETA、SecOPD、Meta-SecAlign。共九个有防御基线。
• 指标：ASR（↓）、BU（↑）、UA（↑）。攻击成功指智能体实际执行攻击者有害目标。共同演化图还报告训练过程中的 ASR 与攻击延迟。
• 重复：Table 1 注明实验重复三次，报告均值。论文未报告方差或显著性检验。
• 评审：主指标定义见 Sec. 5.1。附录 K 的三个评审在每数据集 80 条上由三名专家独立标注、多数投票后计分；它们服务于延迟与奖励相关判定。论文未写明 Table 1 的 ASR/BU/UA 是否由这些评审自动计算。

主结果

Table 1 为三次重复的均值。下表只列无防御、作者重点对比的模型级基线，以及 CoDeL。

表格较宽，可左右滑动

设置	无防御 ASR/BU/UA	Meta-SecAlign	SecOPD	CoDeL
Qwen, AgentDojo	0.364 / 0.632 / 0.432	0.068 / 0.456 / 0.602	0.046 / 0.273 / 0.343	0.042 / 0.779 / 0.831
Qwen, InjecAgent	0.221 / 0.765 / 0.544	0.059 / 0.824 / 0.678	0.010 / 0.417 / 0.446	0.010 / 0.882 / 0.843
Qwen, ASB-OPI	0.377 / 0.857 / 0.232	0.073 / 0.714 / 0.279	0.319 / 0.286 / 0.333	0.043 / 0.857 / 0.913
Llama, AgentDojo	0.189 / 0.727 / 0.679	0.025 / 0.456 / 0.610	0.144 / 0.103 / 0.228	0.051 / 0.819 / 0.797
Llama, InjecAgent	0.299 / 0.647 / 0.480	0.059 / 0.765 / 0.466	0.203 / 0.529 / 0.461	0.020 / 0.882 / 0.809
Llama, ASB-OPI	0.377 / 0.900 / 0.522	0.058 / 0.857 / 0.812	0.000 / 0.143 / 0.101	0.000 / 1.000 / 0.942

据 Table 1。其余基线见正文，未全部列入。

• 作者称：在 Qwen2.5-7B 的 AgentDojo 上，CoDeL 的 ASR 为 0.042，BU 0.779、UA 0.831；摘要写 ASR 从 0.364 降到 0.042（−88.5%），UA 从最强基线的 0.602 升到 0.831（+38.0%）。SecOPD 与 Meta-SecAlign 的 BU 低于 0.5，作者认为它们倾向放弃任务。
• 跨基座：Llama 上 AgentDojo 的 ASR 为 0.051，BU 0.819，UA 0.797；ASB-OPI 上 ASR 0.000，BU 1.000，UA 0.942。PromptArmor 的 ASR 在 Llama 的 AgentDojo 为 0.085、在 Qwen 为 0.314；SecOPD 从 Qwen 的 0.046 升到 Llama 的 0.144。作者认为能力来自攻防动态，而不是基座捷径。
• 例外：Llama/AgentDojo 上 Meta-SecAlign 的 ASR 0.025 低于 CoDeL 的 0.051，其 BU 为 0.456、UA 为 0.610。Qwen/InjecAgent 上 SecOPD 的 ASR 同为 0.010，但 BU 0.417、UA 0.446。Qwen/ASB-OPI 上 MELON 的 ASR 0.044 与 CoDeL 的 0.043 接近，UA 为 0.957，高于 CoDeL 的 0.913；MELON 在 AgentDojo 上把 Qwen 的 BU 压到 0.273。TSGuard 在 Llama/AgentDojo 的 ASR 为 0.034，UA 为 0.000。

共同演化过程

Figure 3 在 AgentDojo 上每次冻住一侧，横轴为 Rounds 0 到 8。

• 双侧演化（Fig. 3a）：攻击方 ASR 从第 0 轮 0.294 到第 9 轮 0.032。图上还能读到 0.271、0.239、0.228、0.193、0.141、0.116、0.102、0.057 等点。作者称每轮把新失败交给防御者后，下一轮搜索更难。
• 冻结攻击者（Fig. 3b）：固定为 AgentDojo 原静态套件时，ASR 从 0.404 在三轮内降到 0.045，其后六轮漂到 0.000。图上另有 0.207、0.135、0.041、0.037、0.030、0.026、0.011。作者称固定分布很快耗尽，后期教给防御者的很少。
• 冻结防御者（Fig. 3c、3d）：只演化攻击者时 ASR 从 0.273 升到 0.662；去掉延迟奖励后升到约 0.510 后饱和，而不是 0.662。图 3c 可见 0.389、0.576、0.636、0.657、0.697、0.705、0.738；图 3d 可见 0.220、0.279、0.342、0.359、0.371、0.377、0.423、0.485、0.508。作者称延迟项把搜索推向隐蔽注入。

未见攻击上的泛化

AgentDojo 上训练的防御者不重训，直接评测。

• 自适应攻击：Figure 4a 中 AutoDojo 的 ASR，CoDeL 为 0.081，Meta-SecAlign 为 0.189，另有 0.420 与 0.318。作者称 0.081 比 PIGuard 低 80.7%，比最强基线 Meta-SecAlign 低 57.1%。Figure 4b 中 ASPI 上 CoDeL 为 0.124，Meta-SecAlign 0.1745，TSGuard 0.1947，PIGuard 0.2986；图上还能看到 0.299、0.195。
• LATENT DOJO：来自冻结防御者那一轮挖掘出的攻击，被评防御者未在其上训练。Figure 4c 按延迟 0、1、2、3 与 clean 计数，可见 57、37、19、19、18。Figure 4d 中 PIGuard 从 0.263 到 0.421；CoDeL 在各延迟上最低，图上可见 0.000、0.027、0.053、0.105、0.158、0.211、0.246、0.289、0.368、0.404、0.471、0.588、0.611、0.667。作者称基线随延迟升高而变差，因为推迟偏离去掉了它们所依赖的突然签名。

其他消融与分析

Table 2 的变体均相对完整模型 ASR 0.042、BU 0.779、UA 0.831（与 Qwen/AgentDojo 主结果相同；表未另写基座名）。

• 框架侧：SFT-only 为 0.144 / 0.456 / 0.419；GRPO 为 0.110 / 0.727 / 0.793；No MCTS 为 0.097 / 0.704 / 0.762；No latency 为 0.070 / 0.752 / 0.806。
• 奖励侧：No latency shaping 为 0.076 / 0.737 / 0.822；No safety reward 为 0.237 / 0.647 / 0.407；No progress reward 为 0.119 / 0.574 / 0.492。作者称去掉安全项降幅最大，去掉进度项使 UA 降到 0.492，延迟塑形是辅助课程信号。
• 动机实验：Figure 1 在 48 个 AgentDojo 场景上，显式注入 ASR 为 Qwen2.5-7B 0.583、Meta-SecAlign 0.062、TSGuard 0.083、PIGuard 0.146；潜在改写后为 0.458、0.208、0.542、0.333。作者称 TSGuard 上升 45.9 个百分点，且未面对新攻击目标。
• 评审校验：Table 5 安全评审准确率 AgentDojo-trajnew 92.50%、InjecAgent 95.00%、ASB-OPI 90.00%；进度评审 92.50%、93.75%、90.00%；攻击评审 93.75%、93.75%、90.00%，转折点一致性均为 100%。

Figure 1 的无防御潜在 ASR 0.458 低于显式 0.583，与“改写后所有防御 ASR 上升”并列；作者对防御的解读是投递方式变隐蔽后 ASR 上升，未单独解释无防御列下降。

作者指出的局限与后续方向

• 规模：附录 Limitations 写训练与搜索受算力限制，共同演化轮数、树宽度和基座规模未能进一步加大。（附录 Limitations）
• 模态与接口：同一节写评估限于文本工具观测，未覆盖视觉提示注入或 GUI 计算机使用智能体。（附录 Limitations）
• 形式化：作者写 CoDeL 没有对决策边界给出形式化保证，安全性主张来自实验。（附录 Limitations）
• 后续：Conclusion 与附录写作者计划把框架扩展到多模态观测和更长轨迹，并计划释放代码；论文未把释放写成已完成。（Conclusion、附录）
• 攻击分布：作者写探测者仍从给定任务和可见工具出发，不生成全新用户任务；换任务分布后的共同演化留作后续。（附录 Limitations）
• 评审依赖：附录 K 写延迟和奖励依赖自动评审，尽管 Table 5 做了人工对照，作者仍把评审误差视为剩余风险。（附录 K）

实验覆盖范围

• 主评测：被测基座为 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct；基准为 AgentDojo、InjecAgent（1054 例）和 ASB-OPI；Table 1 每种防御重复三次并报告均值，未报告方差。（Sec. 5.1、Table 1）
• 防御家族：对比运行时 MELON、PromptArmor，护栏 PIGuard、TSGuard，模型级 AgentAlign、DRIP、RETA、SecOPD、Meta-SecAlign，以及无防御基座。（Sec. 5.1）
• 训练动态：Figure 3 在 AgentDojo 上比较双侧演化、冻结攻击者、冻结防御者，以及去掉延迟奖励的冻结防御者，横轴轮次标到 8，正文提到十轮。（Sec. 5.3）
• 泛化：AgentDojo 训练的防御者不再训练，评测 AutoDojo、ASPI 和 LATENT DOJO（132 个攻击场景、18 个干净场景、57 组、54 个任务，按延迟分层）。（Sec. 5.4）
• 消融与校验：Table 2 分框架侧和奖励侧；Table 5 对三个评审在三个数据集上各用 80 条、三名专家多数投票。探测生成器为 GLM-5.2。论文报告了良性提示词预算默认 0.25，未在正文给出 Rmax、G、Cexp、λ、ϵ、β 的具体数值，这些符号出现在方法公式中。（Sec. 4、Sec. 5.5、附录 K）

CoDeL 是针对 LLM 工具智能体间接提示注入的共同演化防御，用来对付折进正常流程、推迟数轮才偏离的潜在注入。

• 问题：攻击者只改某一轮工具观测中的文本。作者认为现有训练式防御学的是显式注入的表面形式；在 48 个目标不变的改写上，Meta-SecAlign、TSGuard、PIGuard 的 ASR 从 0.062、0.083、0.146 升到 0.208、0.542、0.333（Figure 1）。
• 方法：探测者用 GLM-5.2 做 MCTS，在注入轮次、方法和载荷上搜索，选择项同时看攻击成功和归一化延迟。防御者冻结基座、只更新 LoRA，先 SFT，再以 GDPO 优化 R = rsafety + rprogress − pdrift，并用延迟放大来自隐蔽成功轨迹的优势。拒绝注入和完成用户任务必须同时成立。
• 主结果：Table 1 中，Qwen2.5-7B-Instruct 加 CoDeL 在 AgentDojo 上 ASR 0.042、BU 0.779、UA 0.831；无防御为 0.364 / 0.632 / 0.432。摘要写 ASR 下降 88.5%，UA 相对最强基线 0.602 提高 38.0%。Llama-3.1-8B-Instruct 的 ASB-OPI 上 ASR 为 0.000、BU 1.000、UA 0.942。Llama 的 AgentDojo 上 Meta-SecAlign 的 ASR 0.025 低于 CoDeL 的 0.051，但 BU、UA 更低。
• 演化与泛化：双侧演化时攻击 ASR 从 0.294 到 0.032；冻结防御者时从 0.273 升到 0.662，去掉延迟奖励则停在约 0.510（Figure 3）。同一防御者在 AutoDojo 上 ASR 0.081，在 ASPI 上 0.124（Figure 4）。LATENT DOJO 上作者称 CoDeL 在各延迟档最低。
• 消融与结论：去掉安全奖励后 ASR 为 0.237、UA 0.407；去掉进度奖励后 UA 为 0.492（Table 2）。作者的结论是，让攻击分布随防御者移动，并在解耦奖励下吸收迟到才被发现的突破，可以在降低 ASR 的同时提高 BU 和 UA。