面向大语言模型的知识驱动多轮越狱

现有多轮越狱难以同时维持长程目标并适应模型当轮状态。

• 场景：作者称多轮对话已用于聊天机器人、虚拟助手、编程助手和自主智能体。有害意图拆到多轮后，可绕过拦住即时伤害的护栏，作者称传统检测难以应对。
• 现有方法：作者称动态攻击偏重当下回复，长对话中会漂到无关或无害子话题；预定义轨迹在拒绝或跑偏时会断裂；人工策略限制多样性，难以发现非直觉漏洞。
• 本文做法：提出 Mastermind，把攻击写成规划、执行、反思的闭环，用分层智能体分开高层目标与低层执行，并把成功轨迹蒸馏成可重组的策略知识。
• 威胁模型：
  • 目标：对安全对齐模型 M，给定有害查询 qharm 与轮次预算 N，使任一轮判别器 D 超过预设阈值。
  • 知识：black-box，看不到权重、logits 或 losses；系统提示不可见、不可改。
  • 能力：可提交输入并观察生成文本；本地保存历史，可回到 Hk 后换提示重试；可使用辅助 LLM。
  • 历史约束：不能篡改 Ht，不能 pre-filling 或伪造历史；上下文只能由 M 的真实输出构成。

相关工作分成单轮越狱、多轮越狱、防御和基于 LLM 的智能体；多轮再按是否看实时回复分为 context-free 与 context-aware。

单轮越狱

• 经验式：Wei 等（2023）及后续工作用前缀注入、编码、谜题、心理策略和低资源语言等手工提示绕过对齐。论文只作分类。
• 优化式：Zou 等（2023）的 GCG 用白盒梯度提高目标回复开头的似然；Liu 等（2023）的 AutoDAN 用分层遗传算法，后续加入动量、加速或可读提示生成。
• LLM 生成：PAIR（Chao 等，2023）与目标交互并改写提示；Mehrotra 等（2024）用分支和剪枝搜索；AutoDAN-Turbo（Liu 等，2024）把有效策略存入仓库，不要求预定义策略或内部访问。

多轮越狱

• Context-free：MSJ（Anil 等，2024）在长上下文插入大量虚构对话；CFA（Sun 等，2024）自动生成欺骗上下文并逐轮造句；ActorAttack（Ren 等，2024）用行动者网络分解目标，但多在开聊前定好子查询。论文指出 ASJA（Du 等，2025）假定能伪造历史，因而不适用于不能伪造先前回复的网页聊天机器人。
• Context-aware：Crescendo（Russinovich 等，2024）由攻击 LLM 逐轮生成下一问；COA（Yang 等，2024）用余弦相似度反馈；MUSE（Yan 等，2025）在扩展、分解、重定向上做蒙特卡洛树搜索；X-Teaming（Rahman 等，2025）用多智能体改计划。另有 RACE（Ying 等，2025）、NEXUS（Asl 等，2025），以及用成功轨迹微调或偏好优化的攻击模型（Wang 等，2024；Zhang 等，2024；Zhao 等，2025 的 Siren）。
• 论文的批评：动态方法有战略短视，论文点名 Crescendo 一类会偏离最终有害目标；预定义轨迹（论文引用 Zhou 等，2024 等）遇拒绝会断裂；MUSE、X-Teaming 与训练式方法仍受预定义动作或人工先验限制，作者称因此不能自主产生现有启发式之外的攻击向量。

防御、智能体与实验对照

• 防御：模型级包括 SFT、RLHF、DPO、RLAIF；提示级包括困惑度过滤、SmoothLLM、RA-LLM、Self-Reminder；代理级包括 Llama Guard 和若干商业审核 API。本节是分类，没有与 Mastermind 的数字对比。
• 智能体：ReAct 交错推理与行动；Reflexion、Voyager 把反思或技能写入记忆；CAMEL、AutoGen、MetaGPT、ChatDev 做分工或层级协作。论文称把反馈写入记忆与知识驱动框架相关。
• 基线与基准：实验对照为 Crescendo、ActorAttack、X-Teaming、Siren；数据为 HarmBench 与 StrongReject。

作者认为需要同时有层级规划的长程连贯、动态交互的适应性，以及不靠人工先验的策略发现；Mastermind 用分层多智能体、自动蒸馏和策略空间模糊测试对应这三点。

Mastermind 分两阶段：先在沙箱上把成功轨迹蒸馏成抽象策略，再对策略组合做搜索，而不是改原始 token。威胁模型写 black-box；Sec 4.3 称该搜索为 grey-box fuzzing，论文未解释两个用语的差别。

问题设定与单次攻击环

• 第 t 轮历史为 Ht-1，目标模型 M 在系统提示、历史和当前输入 ut 上生成 rt。H0 为空。
• 攻击目标是在预算 N 内让判别器分数的期望最大值最大，即 π^∗=argmax_π𝔼[max_t D(r_t,q_harm)]。成功条件是任一轮 D 超过预设阈值；阈值数值未给。
• 一次流程由规划器给出计划 P，执行器生成 ut，控制器审计 rt。循环内 judge 给 Jt，取值 1 到 10，会话分取各轮最大。J 低于 τ 时，规划器按失败历史重写计划；τ 未给数值。
• 控制器只有三种动作：Proceed 把本轮写入历史并进入下一步；Refine 分析失败原因并重写同一轮 ut；连续 Refine 达到预设上限则 Abort 并重规划。该上限未给。Figure 2 给出 Refine 示例，具体提示不复述。

三个智能体

• Planner：输入 qharm 和可选检索策略，输出分步自然语言计划，每步含战术指令和期望行为。无检索时只根据 qharm。实现用 DeepSeek V3。
• Executor：按计划、有害查询和 Ht-1 写出当轮 ut。实现用 Gemma 3 27B。
• Controller：把 rt 与当前步的期望行为对比，决定继续、改写或中止。论文未点名控制器和 distiller 的模型。
• 攻击智能体与受害模型 temperature 为 0，交互预算 Tmax=10。

知识积累

• 辅助集为商业 LLM 生成的 200 条有害查询，与测试集无重叠；商业 LLM 未点名。沙箱固定为 Llama 3.3 70B Instruct。
• 规划器先在无策略指导下探索。失败则用反思提示，根据失败历史生成下一版计划，以得到可供蒸馏的成功轨迹。
• 成功后，distiller 从成功计划和历史中抽出原子策略文本，嵌入后写入向量库，并保存查询与策略的对应关系。
• 整合时按余弦相似度把策略分成 K 簇，再由 distiller 去掉冗余、保留功能变体，直到条数稳定。K 和最终条数未报告。

策略空间模糊测试

• 仓库策略记为二值向量，xk=1 表示启用第 k 条策略。目标是最大化执行预言机分数，即 x^∗=argmax_x F(x;q_target)。F 把向量变成计划、跑多轮，并返回 Judge 的最高严重度分。
• 种子不用随机初始化：用句向量找与当前查询相近的历史查询，取其成功配置中 top-K 作初始种群。K 未给。
• 进化含锦标赛选择、按位交叉和按位变异。交叉时每一位以 0.5 的概率来自任一父代；变异时每一位以概率 pm 翻转。pm 与种群规模未给。
• 若当前组合未能越狱，则替换失效策略或加入新策略后再试。检索、重规划和变异使用的具体提示在正文以符号给出，未附全文。

实验设置

• 受害模型：Table 1 有 15 个：Llama 3.1 8B Instruct、Llama 3.3 70B Instruct、Qwen 2.5 7B/14B/72B Instruct、DeepSeek V3、GPT-4o、GPT-4.1、DeepSeek R1、o3-mini、o4-mini、Gemini 2.5 Flash、Gemini 2.5 Pro、Claude 3.7 Sonnet、GPT-5。Sec 5.1 写 Llama 3 series（7B、70B），与表中 3.1 8B、3.3 70B 不一致，以下以表为准。Figure 3 图例另有 Claude 4 Sonnet，清单与表未列，且无数字。
• 数据：HarmBench standard subset 200 条，类别含 cybercrime、chemical threats、hate speech、misinformation；StrongReject 的 custom small 集 60 条。主结果与防御用完整数据集；消融用 HarmBench 分层随机 50 条。辅助集 200 条。
• 基线与角色：Crescendo、ActorAttack、X-Teaming、Siren。规划器 DeepSeek V3，执行器 Gemma 3 27B，沙箱仅 Llama 3.3 70B Instruct。该沙箱模型也是被测目标。
• 指标：报告用 GPT-4o 作 LLM-as-Judge。ASR 为二值，看回复是否在不拒绝时给出可执行信息。HR 为 0–5，看潜在伤害与毒性。论文称二者可分开变化。循环内另有 1–10 分 judge，未写是否就是 GPT-4o，也未给与 ASR 的对应阈值。
• 其他设置：Tmax=10，攻击方与受害模型 temperature=0。论文未报告重复次数，也未报告评审与人工的一致性。

主结果

下表只列 Table 1 的一部分，含 ASR 最低的 GPT-5。X-Teaming 是该表平均 ASR 最高的基线。

表格较宽，可左右滑动

模型	Mastermind ASR	X-Teaming ASR	Mastermind HR
GPT-5	60%	44%	3.71
Claude 3.7 Sonnet	67%	52%	3.42
o4-mini	78%	60%	3.59
Llama 3.1 8B Instruct	96%	64%	3.42
Qwen 2.5 72B Instruct	95%	74%	4.10
DeepSeek V3	94%	79%	4.12
GPT-4o	93%	81%	3.97
平均（15个模型）	87%	70%	3.84

• 据 Table 1，Mastermind 每一行 ASR 都高于四个基线。平均 ASR 为 87%，HR 为 3.84；基线平均 ASR 为 Crescendo 37%、ActorAttack 31%、X-Teaming 70%、Siren 55%。省略行的 Mastermind ASR：Llama 3.3 70B Instruct 92%、Qwen 2.5 7B 89%、14B 92%、GPT-4.1 93%、DeepSeek R1 89%、o3-mini 90%、Gemini 2.5 Flash 91%、Gemini 2.5 Pro 90%。
• Table 2（StrongReject，5 个模型）Mastermind 平均 ASR 91%、HR 3.79；X-Teaming 82%，Crescendo 79%。五行 ASR 均为 Mastermind 最高。Qwen 2.5 72B Instruct 上 Mastermind 为 93%，Siren 为 67%。该表最低的 Mastermind ASR 是 Gemini 2.5 Flash 的 88%。
• 知识积累只用 Llama 3.3 70B Instruct。它在 HarmBench 上的 ASR 为 92%，此时目标就是沙箱本身。作者称策略可迁到其他架构，并给出 Qwen 2.5 72B Instruct 95%、DeepSeek V3 94%、GPT-4o 93%（均 Table 1）。同表 GPT-5 为 60%、Claude 3.7 Sonnet 为 67%，作者未把这两行算进上述对照。Figure 3 横轴为 0–10 轮，纵轴为累计 ASR，刻度文本为 0.0–1.0；作者称标准模型在前几轮饱和、GPT-5 用满预算。图中无端点数值。

组件与知识库规模

• Table 3 写明目标为 GPT-5，位于使用 HarmBench 50 条的消融节。仅执行器 ASR 30%、HR 3.40；加规划器 46%、3.56；再加控制器（Phase 1）56%、3.34；再加上知识库（Phase 1+2）66%、3.78。作者称规划器用来稳住目标，控制器做纠错，知识库提供已蒸馏策略。
• Phase 1 的 HR 3.34 低于仅执行器的 3.40 和加规划器的 3.56，ASR 则升至 56%。论文未单独解释这次 HR 下降。Table 3 的 66% 也不等于 Table 1 全量 HarmBench 上 GPT-5 的 60%。
• Figure 5 横轴为策略保留比例 0%–100%，左轴刻度为 0.0–1.0 并标 ASR (%)，右轴 HR 为 3.0–4.0。正文称无历史策略时 ASR 约 36%、HR 约 3.3，完整仓库时 ASR 为 66%、HR 约 3.8。作者称完整仓库把成功率提高到近两倍。图注未写模型；该 66% 与 Table 3 完整框架相同，论文未写明是否同一设置。20%–80% 无正文数字。

防御下的攻击

• 作者称所选防御原为单轮，实验做了改编：Self-Reminder 把安全前缀作为初始系统提示，后缀加在最后一轮用户查询；SmoothLLM 对最近一条用户查询做字符扰动；Llama Guard 4 在每条消息发出前检查整段历史，检出则当作拒绝。Sec 5.1 称防御实验用完整数据集。Table 4 标题未写基准名，其无防御列与 Table 1 对应行相同。

表格较宽，可左右滑动

模型	无防御	Self-Reminder	SmoothLLM	Llama Guard
Llama 3.3 70B Instruct	92%	77%	88%	86%
Qwen 2.5 72B Instruct	95%	87%	91%	87%
GPT-4o	93%	72%	85%	92%
o3-mini	90%	87%	84%	87%
Gemini 2.5 Flash	91%	79%	79%	81%
平均	92%	80%	85%	87%

• 上表为 Table 4 的 ASR。Self-Reminder 平均 HR 从 3.87 降到 3.24，GPT-4o 的 HR 为 2.95。作者称它是所测防御中最有效的一项。SmoothLLM 平均 HR 为 3.64，其中 Qwen 2.5 72B Instruct 为 3.87。Llama Guard 平均 HR 为 3.66；Llama 3.3 70B Instruct 的 HR 为 3.44，无防御为 3.41。
• 作者称 Llama Guard 在该设置中效果最弱。正文写 GPT-4o 在该防御下成功率为 94%，Table 4 为 92%，以表为准。作者称防御后平均 ASR 仍高于 80%；Table 4 中 Self-Reminder 平均为 80%，Llama 3.3 70B Instruct 为 77%。

规划器与执行器选择

• Figure 4 的规划器为 DeepSeek V3、Gemini 2.5 Flash、Llama 3.3 70B Instruct，执行器为 Gemma 3 27B、Llama 3.3 70B Instruct、Gemini 2.5 Flash，受害模型为后三者中的 Llama 3.3 70B Instruct、Gemini 2.5 Flash 和 GPT-5。纵轴为 ASR (%)，刻度 0、50、100。正文未给出全部分格数字。
• 作者称规划器是主要因素：DeepSeek V3 对 GPT-5 约 65%，Llama 3.3 70B Instruct 作规划器时约 30%。又称为知识积累执行器的 Gemma 3 27B，对 Llama 3.3 70B 目标达到 98%。
• 作者称即使用未参与发现的智能体，对标准目标的 ASR 也超过 75%。哪些格子算标准目标，论文未逐格对应。

其他消融与分析

• 论文未再给出 pm、K、τ、连续 Refine 上限、种群规模或 top-K 的数值实验。
• HarmBench 上 Mastermind 的最高 HR 是 DeepSeek V3 的 4.12；StrongReject 上是 Gemini 2.5 Flash 的 3.93（Table 1、Table 2）。
• 正文把 GPT-4o 上 ActorAttack 的 28% 和 Crescendo 的 44% 当作对照，与 Table 1 该行一致，不是全表平均。

作者指出的局限与后续方向

• 论文没有 Limitations、Discussion 或 Future Work 专节，结论也没有写明方法本身的局限或计划要做的后续实验。结论只称当前安全对齐仍有缺口，并把该框架说成可用于以后增强模型韧性的自动红队范式（Sec 6）。

实验覆盖范围

• Table 1 报告 15 个目标模型在 HarmBench standard subset（200 条）上的 ASR 与 HR；Table 2 报告其中 5 个模型在 StrongReject custom small（60 条）上的结果。
• 对照方法为 Crescendo、ActorAttack、X-Teaming、Siren。知识积累的沙箱只使用 Llama 3.3 70B Instruct，辅助查询 200 条由未点名的商业 LLM 生成。
• 防御实验为改编后的 Self-Reminder、SmoothLLM 和 Llama Guard 4，Table 4 含 5 个目标模型。消融使用 HarmBench 分层随机 50 条，Table 3 的目标写明为 GPT-5。
• 实现写明规划器为 DeepSeek V3、执行器为 Gemma 3 27B、报告指标的评审为 GPT-4o，Tmax=10，temperature=0。Figure 3 图例含 Claude 4 Sonnet，Table 1 与 Sec 5.1 的模型清单没有该名称，也没有对应数字。
• 论文未报告重复次数、判别阈值 τ、连续 Refine 上限、变异概率 pm、聚类数 K、种群规模、蒸馏后策略条数，以及评审与人工的一致性。循环内 judge、控制器和 distiller 未点名模型。

Mastermind 是面向安全对齐 LLM 的 black-box 多轮越狱框架；方法节另把策略搜索称为 grey-box fuzzing。

• 问题：长对话既要盯住有害查询，又要在拒绝后改写。作者称逐轮生成容易跑偏，开聊前定死的链路遇到拒绝会断，人工策略也限制了可发现的模式。
• 做法：规划器定步骤，执行器写当轮输入，控制器决定继续、改写或中止。沙箱 Llama 3.3 70B Instruct 上的成功轨迹被蒸馏进向量库；对新查询先检索相近策略，再对策略开关做选择、交叉和变异。轮次预算为 10，temperature 为 0。
• HarmBench：15 个模型上 Mastermind 平均 ASR 87%、HR 3.84（Table 1），每一行 ASR 都高于 Crescendo、ActorAttack、X-Teaming 和 Siren。GPT-5 为 60%，Claude 3.7 Sonnet 为 67%，Llama 3.1 8B Instruct 为 96%。
• StrongReject 与迁移：5 个模型平均 ASR 91%、HR 3.79（Table 2）。沙箱模型自身在 HarmBench 上为 92%；作者称迁到 Qwen 2.5 72B Instruct、DeepSeek V3、GPT-4o 时为 95%、94%、93%。
• 消融与防御：HarmBench 50 条子集上，GPT-5 从仅执行器的 30% 到完整框架的 66%（Table 3）。Table 4 五模型平均 ASR：无防御 92%，Self-Reminder 80%，SmoothLLM 85%，Llama Guard 87%。正文写 GPT-4o 在 Llama Guard 下为 94%，表中为 92%。
• 作者结论：作者称所列模型上该框架的 ASR 与 HR 更高，改编后的三种防御也没有把它的平均 ASR 压到 80% 以下的表内平均值；并称当前安全对齐仍有缺口。论文未讨论方法本身的局限。