X-Teaming：基于自适应多智能体的多轮越狱与防御

1. 01这篇论文试图解决什么问题？

   作者称多轮交互易分散恶意意图突破安全防线，论文提出协同多智能体框架以实现高成功率与多样化的多轮红队测试。

   多轮对话中语言模型易受分散恶意意图攻击，而现有红队测试方法缺乏策略多样性与动态自适应能力。

   • 多轮安全风险重要性：作者称单轮安全防御已能较好拦截单提示词有害输入，但攻击者可将恶意意图战略性分散在多轮交互中，当前系统难以有效检测和防范此类渐进式风险。
   • 现有红队方法局限：现有自动化多轮攻击方法多依赖单一攻击策略、固定模板或受限交互模式，无法模拟人类红队人员的策略广度，在应对防御时缺乏灵活调整能力。
   • 协同多智能体假设：作者认为通过规划、攻击执行、实时验证与提示词优化等多智能体协作，并引入基于文本梯度的自适应反馈，能系统性覆盖多样攻击场景并提升越狱效果。
   • 威胁模型：
     • 攻击目标：诱导受害模型针对 HarmBench 定义的有害行为输出完全违规的内容（Verifier 评分为 5 分）。
     • 攻击者知识与能力：攻击者在黑盒设置下通过自然语言对话接口向目标模型发送查询，能够动态获取模型回复并进行多轮交互（默认最多 7 轮）。
     • 受害系统：主流开源权重模型（如 Llama-3 系列、DeepSeek-V3）与前沿商业闭源模型（如 GPT-4o、Claude 系列、Gemini-2.0-Flash）。
   • 论文核心工作：论文提出了自适应多轮红队测试框架 X-Teaming，并基于该框架生成了包含 30K 条交互样本的多轮安全对齐数据集 XGuard-Train。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖单轮与多轮越狱攻击、智能体提示词优化及交互安全数据集，作者指出现有方法策略单一且多轮防御资源受限。

   单轮与多轮越狱攻击演进

   • 单轮越狱方法：GCG（Zou et al., 2023）通过基于梯度的离散优化生成通用对抗性后缀；PAIR（Chao et al., 2023）利用攻击者大模型自动生成并精炼单轮越狱提示词；CodeAttack（Jha & Reddy, 2023）通过操纵 token 结构生成对抗性代码样本。
   • 多轮攻击基线：Crescendo（Russinovich et al., 2024）逐步引导对话走向有害主题，但作者指出其依赖固定种子；ActorAttack（Ren et al., 2024）基于行动者网络理论构建攻击路径，作者指出其交互模式受限；FITD（Weng et al., 2025）利用得寸进尺心理技术，RACE（Ying et al., 2025）引入推理任务，CoA（Yang et al., 2024b）采用语义链驱动。作者指出这些方法多局限于狭隘的单一策略。

   智能体架构与提示词优化

   • 防御与攻击智能体：AutoDefense（Zeng et al., 2024b）等工作探索利用多智能体协作构建输入过滤防御，而本研究将智能体用于进攻端红队测试。
   • 自适应提示词优化：TAP（Mehrotra et al., 2023）使用树搜索生成攻击提示词；TextGrad（Yuksekgonul et al., 2025）通过反向传播文本反馈进行自然语言提示词优化。与 ActorAttack 采用的自言自语（self-talk）不同，本文采用 TextGrad 基于目标模型的实际响应进行自适应搜索。

   交互式安全对齐与资源

   • 单轮与多轮评测资源：现有安全基准与分类器（如 HarmBench、WildGuard、SafetyBench）主要面向单轮交互，多轮对话安全评估资源较少。
   • 多轮安全数据集：SafeMTData（Ren et al., 2024）提供了多轮安全微调数据，但作者指出其规模较小（1.4K 样本）且生成自攻击多样性有限的框架，容易对特定攻击方式产生过拟合。

   基线方法与基准

   • 对比基线：单轮基线包括 GCG、PAIR、CodeAttack；多轮基线包括 RACE、CoA、Crescendo、FITD、ActorAttack。
   • 基准与数据集：攻击评估使用 HarmBench（510 个有害行为）；安全微调与泛化评估使用 WildJailbreak、SafeMTData、MultiJail、DAN、WildGuard、XSTest、Jailbreak Trigger，以及通用能力基准 MMLU、GSM8K、MATH、GPQA、HumanEval、HellaSwag、BIG-Bench-Hard。

   本文定位区别 作者称，相比现有依赖单一策略、固定模板或未完全开源的多轮方法，X-Teaming 通过多智能体协同规划与文本梯度优化实现了更高的策略多样性和动态自适应性，并贡献了规模扩大 20 倍的开源多轮安全对齐数据集 XGuard-Train。

   收起这一问

3. 03论文如何解决这个问题？

   论文提出 X-Teaming 框架，由规划器、攻击器、验证器和优化器协同运行两阶段流程，实现自适应策略规划与文本梯度提示词优化。

   整体上，作者提出了自适应多轮红队测试框架 X-Teaming，通过规划器、攻击器、验证器和提示词优化器四个专门智能体的协作，将攻击过程分为策略性攻击规划与自适应执行优化两个阶段。

   问题设定与多智能体架构

   • 系统组成：框架包含四个角色：规划器 P（使用 GPT-4o，采样温度 0.5）、攻击器 A（使用 Qwen-2.5-32B-IT，采样温度 0.3）、验证器 V（使用 GPT-4o）以及提示词优化器（使用 Qwen-2.5-32B-IT）。
   • 任务形式化：给定目标有害行为 h，系统目标是在最大轮数限制内（默认最大对话轮数 Tmax = 7）引导目标模型生成完全遵从有害行为的回复。
   • 历史表示：在第 t 轮，系统维护多轮对话历史 H_t = {(q₁, r₁, v₁), …, (q_t−1, r_t−1, v_t−1)}，其中每项包含攻击查询、模型回复和验证得分。

   阶段一：策略性攻击规划

   • 多样化计划生成：规划器以迭代批次生成候选计划集合 S = {s₁, …, s_n}，表示规划器生成的候选攻击策略集合。系统设置迭代批次数 Nsets = 5，每批生成计划数 Nplans = 10，共生成候选计划数 Ntotal = 50 个。后续批次将前序批次的生成结果作为上下文输入，促使规划器生成不重复的策略。
   • 计划结构四要素：每个计划包含角色设定（Persona）、具体情境（Context）、核心策略手法（Approach，如教育角度、历史参考、故事创作等）以及逐轮推进计划（Conversation Plan）。
   • 执行子集抽取：在实际发起交互时，系统从 50 个候选计划中随机抽取一个包含 10 个计划的子集用于执行。

   阶段二：自适应攻击执行与 TextGrad 优化

   • 攻击推进与推理思考：攻击器基于当前计划步骤和对话历史生成查询，并在输出消息前使用思考标签进行策略规划以模拟推理模型行为；目标模型以采样温度 0 生成回复。
   • 实时验证打分：验证器对目标模型的每轮回复按 1 至 5 分进行评估，1 分代表拒绝或无关，5 分代表完全遵从有害行为，同时给出判定理由。
   • 文本梯度提示词优化：若当前轮得分未降低（即当前得分大于等于前序得分），对话按原计划进入下一阶段；若得分下降，系统触发提示词优化器，利用 TextGrad 方法将验证器评分与理由作为损失函数提示词，以文本梯度下降方式迭代优化攻击查询，每轮最多优化重试 4 次。

   动态计划修订与终止条件

   • 自适应计划拓展：若某个计划的预设步骤执行完毕仍未达到 5 分且对话总轮数未达到上限，规划器在保持既定角色与情境的前提下，根据历史对话和反馈动态增加后续推进阶段。
   • 成功判定机制：一旦目标模型在任何一轮给出的回复被验证器评为 5 分，即判定本次越狱成功并终止交互流程；若用尽轮数预算仍未达成则判定失败。

   收起这一问

4. 04论文做了哪些实验？

   X-Teaming 在 HarmBench 测试集上取得最高 98.1% 的 ASR，并在规划多样性、多语言及安全微调泛化上均优于基线。

   实验设置

   • 被测模型：闭源商业模型包含 GPT-4o、Claude-3.5-Sonnet、Claude-3.7-Sonnet、Gemini-2.0-Flash；开源权重模型包含 Llama-3-8B-IT、Llama-3-70B-IT、经 SafeMTData 微调的 Llama-3-8B-IT、Deepseek V3，以及 Qwen-2.5-32B-IT。
   • 评测基准与规模：主攻击实验采用 HarmBench 测试集，包含跨类别的 510 个有害行为；验证集用于超参数消融研究。
   • 对比基线：单轮基线包含 GCG、PAIR、CodeAttack；多轮基线包含 RACE、CoA、Crescendo、FITD、ActorAttack。
   • 指标与判定标准：主要指标为攻击成功率（ASR，%），即成功诱导目标模型产生违规行为的测试用例百分比。
   • 评审方式：以 GPT-4o 作为主验证器进行打分（1 至 5 分，5 分判定为攻击成功），并与 HarmBench 官方分类器及 LlamaGuard 3 进行了打分一致性校验。
   • 实验参数与预算：目标模型采样温度设为 0；默认配置下对话轮数上限为 7 轮，攻击计划为 10 个，TextGrad 优化上限为 4 次。

   主结果

   下表展示了各方法在 HarmBench 测试集上的攻击成功率（据 Table 2）：

   表格较宽，可左右滑动

   目标模型	GCG	Crescendo	FITD	ActorAttack	X-Teaming（本文）
   GPT-4o	12.5	46.0	84	84.5	94.3
   Claude-3.5-Sonnet*	3.0	50.0	未报告	66.5	67.9*
   Gemini-2.0-Flash	未报告	未报告	未报告	42.1	87.4
   Llama-3-8B-IT	34.5	60.0	93	79.0	85.5
   Llama-3-70B-IT	17.0	62.0	未报告	85.5	84.9
   Llama-3-8B-IT（SafeMTData）	未报告	12.0	未报告	21.4	91.8
   Deepseek V3	未报告	未报告	未报告	68.6	98.1

   *注：据 Table 2 注记，在完整配置（50 个计划、5 次 TextGrad、10 轮）下，Claude 3.5 Sonnet 达到 67.9%，Claude 3.7 Sonnet 达到 96.2%。表内略去了单轮方法 PAIR、CodeAttack 及多轮方法 RACE、CoA。

   • 超越现有单轮与多轮基线：作者称 X-Teaming 在绝大多数测试模型上取得了更高的 ASR，其中 DeepSeek-V3 达到 98.1%，GPT-4o 达到 94.3%。
   • 突破多轮安全微调模型：在专门经 SafeMTData 多轮安全微调的 Llama-3-8B-IT 上，X-Teaming 取得 91.8% ASR，而 ActorAttack 仅为 21.4%。
   • 极小参数差距下的一致提升：在大多数模型上 X-Teaming 均高于对比方法，仅在 Llama-3-70B-IT 上以 84.9% 略低于 ActorAttack 的 85.5%。

   攻击效率与资源开销

   • 测了什么：统计成功攻击所需的平均轮数、计划数、优化尝试次数及生成 token 数量（据 Table 7、Table 8）。
   • 结果：X-Teaming 成功越狱平均仅需约 3.5 个计划、0.6 次 TextGrad 优化和 4.3 轮对话；在受限对齐对比实验中（10 个计划/角色、相同 token 预算、均以 Qwen-2.5-32B 为攻击模型攻击 GPT-4o），X-Teaming 取得 94.6% ASR，ActorAttack 为 75.7%。
   • 作者解读：作者称 X-Teaming 以开源的 Qwen-2.5-32B 替代闭源商业模型作为攻击者，在保证更低调用成本的同时实现了更高的攻击成功率。

   攻击策略多样性评测

   • 测了什么：使用 MiniLMv2 计算攻击计划间（角色、情境、方法）以及攻击查询间的嵌入余弦相似度多样性得分（据 Figure 2、Figure 4）。
   • 结果：X-Teaming 在计划层面的平均多样性得分达到 0.702，高于 ActorAttack 的 0.278；在具体攻击查询层面的平均得分达到 0.466，高于 ActorAttack 的 0.288。
   • 作者解读：作者称 X-Teaming 展现了更高的策略多样性，能够探索更为广泛的攻击情境。

   基于 XGuard-Train 的安全防御微调

   • 测了什么：基于 XGuard-Train（30K 样本）对 Llama-3.1-8B 和 Qwen-2.5-7B 进行安全对齐微调，并在多轮攻击、单轮安全和通用能力基准上评估（据 Table 5）。
   • 结果：面对 X-Teaming 攻击，XGuard-Train 微调的 Llama-3.1-8B 模型 ASR 降至 52.2%（SafeMTData 为 93.7%）；Qwen-2.5-7B 面对 Crescendo 攻击 ASR 为 8.7%（SafeMTData 为 22.6%）。在 MMLU、GSM8K、MATH 等能力基准上表现稳定。
   • 作者解读：作者称基于 X-Teaming 生成的交互式安全数据具有跨攻击框架的防御泛化能力，且未损害通用语言理解与推理能力。

   其他消融与分析

   • 超参数消融（Table 10）：在 HarmBench 验证集上，TextGrad 迭代从 3 次增至 4 次、轮数从 6 增至 7 轮、计划从 5 增至 10 个时，SafeMT 微调模型上的 ASR 从 78.0% 提升至 95.1%。
   • 计划数量分析（Figure 3a）：固定 7 轮且禁用 TextGrad 时，计划数从 10 增至 40 个，ASR 从 70.7% 升至 97.6%，增至 50 个时保持 97.6%。
   • 对话轮数分析（Figure 3b）：固定 10 个计划且禁用 TextGrad 时，轮数从 2 轮增至 8 轮时 ASR 从 19.5% 升至 92.7%，增至 10 轮时回落至 87.8%。
   • TextGrad 优化分析（Figure 3c）：优化尝试从 0 次增至 2 次时 ASR 从 70.7% 升至 97.6%，3 次与 4 次时稳定在 90.2%。
   • 补充模型测试（Table 11）：在 HarmBench 测试集上，Qwen-2.5-32B-IT 面对 X-Teaming 时的 ASR 为 99.4%。
   • 多语言泛化评测（Table 9）：在 MultiJail 基准上以 GPT-4o 为目标模型，X-Teaming 在中文、阿拉伯语和孟加拉语上分别取得 64%、56% 和 52% 的 ASR。

   负面结果与例外分析

   • 语义类别抵抗力（Table 6）：网络犯罪类别在几乎所有模型上均为 100% ASR，而在分析的 3,629 次失败攻击中，化学武器、极端暴力与极端仇恨内容在所有被测模型上均保持 0% 成功率。
   • 轮数增加的性能回落（Figure 3b）：当对话轮数超过 8 轮后 ASR 出现下滑，作者分析表明攻击模型在长对话中倾向于偏离预设角色与情境，从而触发了目标模型的拒绝响应。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出了长对话上下文稀释致使攻击质量下降及验证器潜在偏差等局限，实验主要围绕指定基准与固定轮数配置展开。

   作者指出的局限与后续方向

   • 长对话上下文稀释：作者指出交互超过 8 轮后，攻击者模型容易偏离初始设定的角色与情境，导致生成的查询质量下降并触发目标模型拒绝（第 3.3 节）。
   • 验证器潜在评估偏差：作者指出依赖 GPT-4o 作为主评估器存在大模型评测偏差的可能，尽管其与官方分类器呈现 84.50% 的一致性（第 3.1 节、第 3.2 节）。
   • 现有防御数据过拟合风险：作者指出多轮安全微调数据规模较小时容易针对特定攻击方式产生过拟合，需要更大规模与更高策略多样性的数据集支持（第 5 节）。
   • 提示词优化边际收益递减：作者指出 TextGrad 迭代超过 2 次后优化收益出现递减并趋于平稳，第 3 次和第 4 次尝试在多数场景下并非必要（第 3.3 节）。
   • 模型权重与训练方案开源计划：作者计划后续开源安全训练模型的权重检查点与可复现训练方案，以支持社区的多轮安全对齐研究（第 6 节）。
   • 负责任访问与双重用途风险控制：作者在伦理声明中明确了多轮漏洞攻击技术的双重用途属性，指出了限制使用范围用于防御和研究的必要性（Ethics Statement）。

   实验覆盖范围

   • 被测目标模型范围：主实验覆盖了 7 个目标模型（GPT-4o、Claude-3.5-Sonnet、Gemini-2.0-Flash、Llama-3-8B-IT、Llama-3-70B-IT、SafeMTData 微调版 Llama-3-8B-IT、Deepseek V3），并在补充实验中测试了 Claude-3.7-Sonnet 和 Qwen-2.5-32B-IT。
   • 越狱评测基准范围：主攻击实验在 HarmBench 包含的 510 个有害行为测试集上完成，多语言评测在 MultiJail 上覆盖了中文、阿拉伯语和孟加拉语。
   • 对话轮数与策略预算：核心实验的对话轮数设定为最多 7 轮，攻击计划执行上限为 10 个，每轮 TextGrad 优化上限为 4 次；扩展配置设定为最多 10 轮。
   • 安全微调训练数据规模：从 WildJailbreak 抽取 10,000 个有害行为，构建了包含 30,695 条多轮交互的 XGuard-Train 数据集，并用于 2 个模型（Llama-3.1-8B 与 Qwen-2.5-7B）的 LoRA 微调。
   • 未报告信息：论文未报告攻击过程中各目标模型多轮交互的显存开销或具体延迟数据。

   收起这一问

6. 06总结一下论文的主要内容

   论文针对多轮越狱防御薄弱提出自适应多智能体框架 X-Teaming，在主流模型上达成高攻击成功率并开源大规模安全数据集。

   • 定位与核心问题：本研究针对大语言模型在多轮对话中易受分散恶意意图攻击且现有自动化红队方法缺乏策略多样性与自适应性的难题，提出了基于协同多智能体的自动化多轮越狱框架 X-Teaming。
   • 核心方法设计：框架通过规划器生成包含角色、情境与多步推进策略的候选计划，由攻击器执行交互，验证器进行实时 1 至 5 分打分，在得分降低时由优化器调用 TextGrad 执行文本梯度提示词优化，未成功时自适应扩展后续推进计划。
   • 攻击成功率表现：在 HarmBench 测试集上，X-Teaming 对 DeepSeek-V3 取得 98.1% ASR，对 GPT-4o 取得 94.3% ASR，对 SafeMTData 微调的 Llama-3-8B-IT 取得 91.8% ASR；在扩展配置下对 Claude 3.7 Sonnet 达到 96.2% ASR（Table 2）。
   • 策略多样性与效率：相比基线 ActorAttack，X-Teaming 的计划层平均多样性得分从 0.278 提高至 0.702，成功攻击平均仅需约 3.5 个计划、0.6 次优化和 4.3 轮交互；在同等资源预算测试中对 GPT-4o 取得 94.6% ASR，高于 ActorAttack 的 75.7%（Table 7、Table 8、Figure 2）。
   • 交互安全对齐贡献：基于该框架构建了包含 30K 条多轮对话的开源安全微调数据集 XGuard-Train，微调后的 Llama-3.1-8B 面对 X-Teaming 攻击的 ASR 从 93.7% 降至 52.2%，并在保持通用能力的同时展现出跨攻击框架的防御泛化能力（Table 5）。
   • 作者结论与启示：作者认为网络安全利用与社交操纵对多轮攻击最为脆弱，而化学武器、极端暴力等内容防御最为稳固；多轮红队测试与专用安全数据集对于弥补当前仅关注单轮安全的防御盲区至关重要。

   收起这一问

相关论文