AgentSafeEvo：面向 LLM 智能体安全的对抗协同进化框架

1. 01这篇论文试图解决什么问题？

   作者提出AgentSafeEvo，使对抗任务构造与安全执行在多类攻击上协同演化。

   如何在多样任务和攻击类型上，让对抗任务构造与安全执行一起演化，以提升工具使用智能体的稳健性，同时不降低任务表现。

   • 场景：作者称 LLM 智能体经多轮工具交互完成搜索、文档处理和日程等任务，但工具使用把攻击面扩到用户查询、工具描述和环境观察。恶意内容会改写任务指令、歪曲工具行为或误导后续决策，并在执行中诱发不安全动作。
   • 现有不足：作者称固定攻击集上的对抗训练不会随防御者能力变化而更新攻击分布。语言层协同演化主要覆盖孤立交互中的有害文本；ARLAS 的攻击者只在给定网页任务的观察里做间接提示注入，对抗任务构造留在协同演化之外。
   • 观察：任务级零和奖励偏向拉低防御者平均奖励的任务，但不直接计入任务内奖励波动；防御者的组内归一化又大体去掉跨任务的奖励尺度差异。作者假设，给安全与效用奖励差异更大的任务更高相对权重，可以支撑协同演化继续进行。
   • 训练博弈：攻击者根据场景、种子意图和环境信息生成用户查询、工具定义和环境观察，用来诱发不安全行为；防御者多轮调用工具并给出最终答案。更新信号是防御者执行的安全与效用。论文未把这一博弈写成 white-box、black-box 或 no-box。
   • 提出的方法：AgentSafeEvo 在上述博弈中联合优化对抗任务生成和安全执行，并加入可学习性引导的任务加权。训练数据覆盖 50 个智能体场景、约 7,000 个工具和六类攻击，含攻击者初始化用的对抗任务和协同演化用的种子。

   收起这一问

2. 02有哪些相关研究？

   作者将本文与语言层协同演化和只改给定观察的ARLAS区分开。

   作者把本文与语言层攻防协同演化、以及只在给定任务观察中注入的 ARLAS 分开：攻击者要跨攻击类型构造用户查询、工具定义和环境观察。

   通用协同演化

   • SPAG（Cheng 等，2024）：用竞争性语言游戏提升推理。论文只把它当作竞争设定的例子。
   • MAPoRL（Park 等，2025）：联合训练多个 LLM，以增强协作解题。论文未拿它与本文比安全结果。

   安全向协同演化

   • 语言层攻防：purple-teaming（Zhou 等，2024）、Self-RedTeam（Liu 等，2025）、SEAS（Diao 等，2025）、非合作博弈对齐（Paulus 等，2025）和 MAGIC（Wen 等，2026）把攻击与防护一起优化。Self-RedTeam 用单模型在线自博弈兼任两侧；MAGIC 交替优化分开的攻击者与防御者，分别做对抗提示改写和安全回复。作者称这类方法主要覆盖相对孤立交互中的有害语言生成，对多轮工具交互和环境变化覆盖有限。
   • ARLAS（Wang 等，2025）：把协同演化扩到智能体安全，训练攻击者向预定义网页环境中给定任务的观察注入恶意指令。作者批评：该攻击者限于精炼间接提示注入，对抗任务构造不在协同演化过程内。

   智能体安全评测与对齐

   • 评测：ToolEmu（Ruan 等，2024）和 R-Judge（Yuan 等，2024）评估工具使用安全与风险意识；AgentHarm（Andriushchenko 等，2025）和 InjecAgent（Zhan 等，2024）关注有害任务遵从和间接提示注入；AgentDojo（Debenedetti 等，2024）评测交互任务中的提示注入攻防；Agent-SafetyBench（Zhang 等，2024）评估多样环境中的回复和动作；MSB（Zhang 等，2026）考察 MCP 环境里针对工具签名、参数和响应的攻击。
   • 推理时方法：Prompt Sandwiching（Schulhoff，2024）和 Spotlighting（Hines 等，2024）把可信指令与不可信内容分开；Prompt Guard 2（Meta，2025）和 PIGuard（Li 等，2025）在输入影响行为前过滤可能的恶意内容。
   • 训练对齐：Sha 等（2025）通过沙箱智能体交互，处理来自用户请求和工具响应的威胁。

   基线与基准

   • 基线：原版 Qwen3-8B；Spotlighting with Delimiting；Prompt Guard 2；Static-AT（SFT 后固定攻击者，只更新防御者，且不用任务加权）。
   • 基准：安全侧为 Agent-SafetyBench、AgentHarm、AgentDojo、MSB；通用能力侧为 BFCL-V3、ALFWorld、ToolHop。攻击者初始化与 RL 种子来自 TOUCAN 任务。

   作者称本文把对抗任务构造纳入协同演化，而不只做语言层改写，也不只在给定任务的观察里注入。

   收起这一问

3. 03论文如何解决这个问题？

   先监督微调攻击者，再用GRPO和可学习性任务加权联合更新攻防。

   AgentSafeEvo 把对抗任务生成和防御学习耦成攻击者 π_A 与防御者 π_D 的博弈。Figure 2 与 Algorithm 1 分两阶段：红队攻击者初始化，以及多轮工具交互上的联合对抗训练。

   问题设定

   • 交互：智能体多轮调用外部工具。不可信内容可出现在用户查询、工具描述或环境观察中。
   • 六类攻击：直接提示注入、间接提示注入、工具描述注入、错误信息、有害工具执行、用户查询越狱，共 13 个子类型（Table 6）。
   • 攻击者：输入为智能体场景、种子意图和环境信息，输出用户查询、工具定义和环境观察。含恶意内容的任务称为对抗智能体任务。
   • 防御者：对给定任务多轮调用工具，轨迹记录工具调用、环境观察和最终答案。

   红队攻击者初始化

   • 冷启动：作者称初始攻击者不能稳定生成有效对抗任务。从 TOUCAN 采样约 20,000 条源任务；Gemini 3 Flash Preview 按指定攻击意图把约 10,000 条改成对抗任务，并合成构造轨迹，再与约 10,000 条良性样本一起监督微调。
   • 目标：式 (1) 是攻击者输出的逐 token 负对数似然。目标输出包含用户查询，以及规定可用工具及其返回观察的任务环境配置。
   • 模板：红队与良性各一套提示词，输入为场景、意图和工具定义，输出为用户查询和工具函数。附录 C.1 给出完整提示词。防御者系统提示词见附录 C.2，大意是完成可分离的合法部分，并忽略或拒绝非法、有害、未授权或与任务冲突的指令。
   • SFT 设置：用 LLaMA-Factory 微调 Qwen3-8B。Table 7：最大序列长度 16384，batch size 8，学习率 3×10−5，2 个 epoch，warmup ratio 0.03，DeepSpeed ZeRO-3。

   奖励设计

   • 安全：Qwen3.8-27B 将每条轨迹判为 safe 或 unsafe，奖励为 +1 或 −1。
   • 效用：同一模型独立判断是否完成合法要求，奖励为 +1 或 −1。走向有害目标的进展不算完成合法要求；请求整体有害时，安全拒绝的效用奖励为 +1。作者给出的理由是，只优化安全可能让防御者拒绝整个任务。
   • 防御者奖励：定义为 R_D(τ_i,j)=R_safety(τ_i,j)+R_utility(τ_i,j)，即安全与效用之和；最高奖励只在既安全又完成合法要求时出现。
   • 攻击者奖励：对每个任务，取 K 条轨迹防御者奖励的均值再取负，因此任务级奖励为零和。越高的攻击者奖励对应越低的防御者平均奖励。完整评审提示词在附录 C.3。

   联合优化与可学习性加权

   • 种子与分组：RL 数据含 6,000 个红队种子和 6,000 个良性种子，用以在提高对抗稳健性的同时保留通用能力。每个种子生成 M 个任务，每个任务上防御者采样 K 条轨迹。防御者优势在该任务的 K 条轨迹内归一化；攻击者优势在同一种子的 M 个任务内归一化。组内奖励标准差为 0 时，该组优势全部置 0。
   • 加权：作者假设，给防御者综合奖励存在差异的任务更大相对权重，可以支撑协同演化继续。权重为 w_i=1+λ(σ_D⁽ⁱ⁾−σ̄_D)/(max_i′|σ_D^(i′)−σ̄_D|)，其中 σ_D 是任务内防御者奖励标准差，λ 控制偏离单位权重的幅度。分母为 0 时该组权重为 1。同一权重在各自 GRPO 归一化之后乘到双方优势上，不改结果奖励，也不改分组。
   • 损失：双方使用带裁剪的 GRPO 替代目标。用户输入、工具输出和环境观察留在上下文中，不进入损失。Table 8 将 KL 系数设为 0.0。
   • RL 设置：攻击者学习率 1×10−6，防御者 3×10−6；rollout 数分别为 5 和 8；每角色 4 张 GPU；120 步；batch size 64；λ=0.5；rollout 温度 1.0；最大提示长度 6144，最大回复长度 16384。流程基于 PettingLLMs 和 verl，rollout 用 vLLM v0.19.1。论文未写明 M、K 是否等于上述 rollout 数。

   训练数据与攻击类型

   • 构成：50 个场景（Table 4），约 7,000 个工具，操作类别见 Table 5。Figure 4 统计 10,310 条红队任务：有害工具执行 28.5%（2,935），直接提示注入 27.0%，用户查询越狱 13.6%，间接提示注入 10.9%，工具描述注入 10.4%，错误信息 9.7%。
   • 类型划分：间接提示注入的指令在外部内容中，交互后才遇到；错误信息提供虚假、过时或不可靠说法，而不是可执行指令；有害工具执行要求轨迹里有推进有害目标的具体动作，仅有意图不够；用户查询越狱依赖社会工程线索，不必明确要求无视更高优先级规则。子类型说明在 Table 6。
   • 不发布的部分：Appendix B 写，为降低误用风险，不发布红队数据合成流程，包括其提示词和实现细节。

   收起这一问

4. 04论文做了哪些实验？

   作者称Qwen3-8B上各项安全指标均值优于所列基线，ALFWorld与ToolHop也更高。

   实验设置

   • 模型：攻击者与防御者骨干均为 Qwen3-8B。奖励模型为 Qwen3.8-27B，训练时分别判定 safety 与 utility。Figure 3(b) 另把攻击放到 Llama3.3-70B、Qwen3-235B、DeepSeek-V4-Pro 和 GPT-5 上。
   • 训练数据：SFT 从 TOUCAN 采样约 20,000 条源任务；TOUCAN 含来自 495 个真实 MCP 服务器、超过 150 万条轨迹。其中约 10,000 条由 Gemini 3 Flash Preview 转为对抗任务，并与约 10,000 条良性样本合并。RL 为 6,000 个红队种子加 6,000 个良性种子。
   • 基线：原版 Qwen3-8B；Spotlighting with Delimiting，用分隔符把全部工具输出标成不可信内容；Prompt Guard 2（附录写 Llama Prompt Guard 2），只对工具输出文本做注入检测，标记内容在下一步前被替换，检测器不看用户任务和对话历史；Static-AT，固定 SFT 攻击者并在线出任务，只训练防御者，不用任务加权。
   • 安全基准：附录 E.1 写 Agent-SafetyBench 有 2,000 个测试样例、349 个交互环境；AgentHarm 有 110 个显式恶意基础行为和 440 个任务变体，harm score 用人工编写的评分细则；AgentDojo 有 97 个用户任务和 629 个安全测试样例；MSB 有超过 2,000 个攻击实例。指标为 ASR、harm score、UA、NRP。正文写 ASR 衡量攻击是否诱发不安全行为，UA 衡量受攻击时是否完成预定用户任务，NRP 把受攻击时的任务表现与攻击成功合在一起；附录 E.1 则写 NRP 把任务表现与抗攻击合为稳健性的联合度量。论文未给出 NRP 公式，也未写明各基准 ASR 的外部评审模型。
   • 通用能力：BFCL-V3、ALFWorld、ToolHop 报 accuracy。附录 E.2 写 ALFWorld 评测 109 个任务，并跟随 AgentRL 中的 AgentBench-FC；ToolHop 有 995 条查询和 3,912 个工具。论文未给出 BFCL-V3 的样例数。
   • 协议：评测采样 temperature 为 0.6、top_p 为 0.95。Section 4.2 对安全与通用能力报告三次独立运行的均值和标准差。交叉评测使用训练外的 100 个种子。Figure 3 未标注重复次数。

   主结果

   据 Table 1，下列数字均为 Qwen3-8B 上三次运行的均值±标准差。ASR 与 harm score 越低越好，UA 与 NRP 越高越好。

   表格较宽，可左右滑动

   指标	Qwen3-8B	+Spotlighting	+Prompt Guard 2	+Static-AT	+AgentSafeEvo
   ASB ASR↓	49.11±0.51	48.52±0.78	44.13±0.64	31.01±0.33	17.84±0.24
   Harm score↓	50.37±3.63	53.00±2.60	54.67±1.07	30.00±2.05	6.53±0.38
   Dojo ASR↓	22.20±0.57	19.25±1.04	16.44±0.45	6.71±0.43	6.18±0.18
   Dojo UA↑	53.64±0.90	57.82±1.11	47.35±0.52	61.43±0.15	66.52±1.43
   MSB ASR↓	60.43±0.97	58.53±0.73	59.02±1.57	38.64±2.24	31.25±1.24
   MSB NRP↑	28.12±1.30	29.55±0.46	29.71±1.29	40.64±0.93	46.00±0.54

   • 作者解读：作者称 AgentSafeEvo 在四项安全基准的全部报告指标上均值最好。更高的 UA 被作者解释为受攻击时任务完成更好，更高的 NRP 被解释为任务表现与抗攻击的组合更好。
   • 通用能力：Table 2 中，AgentSafeEvo 的 ALFWorld 准确率为 43.72±3.03%，ToolHop 为 48.04±1.40%，高于 Static-AT 的 30.89±0.43% 与 39.43±0.09%。BFCL-V3 为 65.98±0.14%，低于原模型 66.13±0.22% 和 Static-AT 的 66.73±0.50%。作者认为协同演化产生的任务为规划和工具使用提供了训练信号，同时函数调用准确率大体保持。
   • 表内例外：Spotlighting 与 Prompt Guard 2 的 AgentHarm harm score 高于原模型，Prompt Guard 2 的 AgentDojo UA 低于原模型。论文未单独解释这些基线相对原模型的回差。

   协同演化与跨模型迁移

   • 交叉评测：用 100 个训练外种子，让不同阶段的攻击者出任务，再让各阶段防御者在同一任务集上评测。正文写，对 base 防御者，SFT 攻击者 ASR 为 55.81%，终局攻击者为 92.59%；对终局攻击者，ASR 从 base 防御者的 92.59% 到终局防御者的 49.82%。Figure 3(a) 对应标注为 55.8、92.6、49.8。图中各行从左到右下降，各列从上到下上升。作者称后期攻击者对每个防御者 ASR 更高，后期防御者对每个攻击者 ASR 更低。
   • 迁移：Figure 3(b) 比较 SFT 攻击者与相对 Qwen3-8B 协同演化出的终局攻击者。图中标注为：Qwen3-8B 55.8 与 92.6，Llama3.3-70B 43.7 与 80.7，Qwen3-235B 50.9 与 81.1，DeepSeek-V4-Pro 26.2 与 39.3，GPT-5 12.3 与 22.5。正文确认 Llama3.3-70B 从 43.7% 到 80.7%、GPT-5 从 12.3% 到 22.5%。论文未说明图中 Qwen3-8B 是 base 还是训练后防御者；其标注与 Figure 3(a) 对 base 防御者的 55.8、92.6 相同。
   • 作者解读：作者称四个额外目标模型上演化攻击者的 ASR 都更高，并认为攻击改进不限于协同演化所用的防御者。论文未解释 DeepSeek-V4-Pro 与 GPT-5 上绝对值低于 Llama3.3-70B 的原因。

   消融

   Table 3 仍以 Qwen3-8B 为对象。注记写明「无攻击者更新」即 Static-AT。论文未再次写明 Table 3 的重复次数，表中给出了标准差。

   表格较宽，可左右滑动

   变体	ASB ASR↓	MSB ASR↓	MSB NRP↑	ALFWorld↑	ToolHop↑
   AgentSafeEvo	17.84±0.24	31.25±1.24	46.00±0.54	43.72±3.03	48.04±1.40
   无攻击者更新	31.01±0.33	38.64±2.24	40.64±0.93	30.89±0.43	39.43±0.09
   无任务加权	22.91±0.35	32.89±0.66	41.48±0.21	36.70±0.75	40.07±0.58
   无防御者加权	14.13±0.33	28.47±1.03	43.04±0.73	29.05±0.43	40.80±0.22
   无攻击者加权	15.52±0.27	34.92±0.89	41.87±0.33	34.25±1.89	40.63±0.29

   • 协同演化：作者报告，相对只训练防御者，无加权协同演化在 Agent-SafetyBench 和 MSB 上的 ASR 分别低 8.10 和 5.75 个百分点，ALFWorld 准确率从 30.89% 到 36.70%。作者认为在线出题本身不能解释这些差别，因为固定攻击者仍在交互环里生成任务。
   • 共享加权：作者称，相对无加权协同演化，共享任务加权改善了表中全部报告指标。只加权攻击者或只加权防御者时，ALFWorld 准确率从无加权的 36.70% 分别到 29.05% 和 34.25%。
   • 例外：作者报告，两种单侧加权在 Agent-SafetyBench 上的 ASR 都低于完整方法，只加权攻击者时 MSB ASR 也更低，为 28.47%，而完整方法为 31.25%。作者认为共享权重有助于稳健执行和通用能力，而不是单独压低 ASR；NRP 同时计入受攻击时的任务表现和抗攻击。

   其他消融与分析

   • Figure 3(a) 中间格：SFT 攻击者对 RL step 120 防御者的 ASR 为 26.9；RL step 120 攻击者对 RL step 90 防御者为 74.2。
   • 交叉评测正文写 55.81%、92.59%、49.82%，Figure 3(a) 标注为 55.8、92.6、49.8。
   • 论文未报告 λ、学习率、rollout 数或温度的单独扫描。
   • Figure 3(b) 未标注误差线或重复次数。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者计划扩展到多智能体委派，并称基准结果不能确立全部部署场景的安全。

   作者指出的局限与后续方向

   论文没有独立的 Limitations 节。下面只列正文明确写出的后续方向和边界。

   • 多智能体：Conclusion 写，后续工作将把 AgentSafeEvo 扩展到协作多智能体设定，关注通信和任务委派带来的安全风险。
   • 部署边界：Ethics Statement 写，已评测基准上的提升不能确立全部部署设置下的安全；实际部署还要进一步评估智能体可用的工具、权限和环境。

   实验覆盖范围

   • 骨干与迁移目标：攻击者和防御者骨干为 Qwen3-8B；Figure 3(b) 的目标模型为 Qwen3-8B、Llama3.3-70B、Qwen3-235B、DeepSeek-V4-Pro、GPT-5。奖励模型为 Qwen3.8-27B。
   • 基准与重复：安全评测为 Agent-SafetyBench、AgentHarm、AgentDojo、MSB；通用能力为 BFCL-V3、ALFWorld、ToolHop。Section 4.2 对前两类主评测报告三次独立运行的均值和标准差。
   • 对照：基线为原版 Qwen3-8B、Spotlighting with Delimiting、Prompt Guard 2 和 Static-AT（Section 4.1）。消融包括去掉攻击者更新、去掉任务加权，以及只去掉一侧加权（Table 3）。
   • 攻击数据与过程：红队任务按六类、13 个子类型组织，Figure 4 统计 10,310 条；RL 种子为 6,000 红队加 6,000 良性。交叉评测用 100 个训练外种子，阶段包括 SFT 与 RL step 30、60、90、120。
   • 未写出的评测信息：论文未报告奖励模型判定与人工判定的一致性，也未写明各安全基准 ASR 使用的外部评审模型。Reproducibility Statement 与 Appendix B 写明不发布红队数据合成流程。

   收起这一问

6. 06总结一下论文的主要内容

   攻防协同强化学习训练工具智能体，作者称可提高稳健性并保持通用能力。

   AgentSafeEvo 是面向工具使用 LLM 智能体的攻防协同强化学习框架，用来在多样任务和攻击类型上同时更新对抗任务构造和安全执行。

   • 问题：恶意内容可以出现在用户查询、工具描述或环境观察里，并在多轮工具调用中诱发不安全动作。作者认为，固定攻击集、语言层攻防，以及只改给定任务观察的做法，都没有把对抗任务构造放进协同演化。
   • 方法：攻击者先在由 TOUCAN 任务合成的对抗样本上监督微调，再与防御者用 GRPO 联合更新。防御者奖励是轨迹级安全与效用之和，攻击者奖励是该任务上防御者奖励均值的相反数。可学习性权重按任务内防御者奖励标准差调节双方更新。训练覆盖六类攻击，RL 同时使用红队种子和良性种子。
   • 安全结果：在 Qwen3-8B 上，AgentSafeEvo 的 Agent-SafetyBench ASR 为 17.84%，AgentHarm harm score 为 6.53，AgentDojo ASR 为 6.18%、UA 为 66.52%，MSB ASR 为 31.25%、NRP 为 46.00（Table 1）。作者称这些均值优于所列基线。
   • 能力与迁移：ALFWorld 准确率为 43.72%，ToolHop 为 48.04%；BFCL-V3 为 65.98%，低于原模型的 66.13% 和 Static-AT 的 66.73%（Table 2）。相对 SFT 攻击者，终局攻击者在 Llama3.3-70B 上的 ASR 从 43.7% 到 80.7%，在 GPT-5 上从 12.3% 到 22.5%（Figure 3b、正文）。作者认为攻防两侧在协同演化中都有提高，且攻击改进不限于训练时的防御者。
   • 作者结论：作者认为，用防御者反馈更新任务生成策略，并用同一任务级信号加权双方，可以加强工具智能体的稳健性，同时保持通用能力。后续计划扩展到多智能体通信和任务委派；伦理声明同时写，基准上的提升不能确立全部部署设置下的安全。

   收起这一问

相关论文