ShallowDefend:利用浅层安全对齐的多轮防御方法
ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender
作者提出多轮防御框架 Assess → Decide → Respond,用 RL 训练模型先承诺可解析的安全决策再回复;作者称在 Llama3.1-8B 与 Qwen3-8B 上平均 SAFE 率达 90.4%–93.4%,优于同数据训练的基线。
威胁模型为脚本化多轮越狱攻击(scripted multi-turn attacks),攻击者把恶意意图分散到多个看似无害的用户轮次,在最后一轮投递 payload;攻击只控制用户轮次,静态重放,不能写入 assistant 通道;作者承认自适应攻击者(adaptive adversaries)是未解决的局限。
- 安全对齐的模型能可靠拒绝单轮有害请求,但同一请求分散到多轮对话后仍经常得手。作者认为根源在于对齐是浅的:安全行为集中在回复开头几个 token,现有多轮防御只监督回复表面形式,模型从未学习显式的安全决策。
- 提出 Assess → Decide → Respond:每轮先评估用户意图,再承诺一个可解析的决策标签(COMPLY/REFUSE,外部奖励版加 SAFE-REDIRECT),然后据此生成回复;用 GRPO 只在最后一轮施加奖励,自验证奖励用规则比对承诺标签与会话已知性质,无需评审模型。
- 在 Llama3.1-8B 与 Qwen3-8B、五个安全基准上,作者称两种奖励变体的平均 SAFE 率(90.4%–93.4%)超过同数据训练的全部基线,并在六个评审下保持领先;效用基本持平,代价是过拒率上升(如 Qwen3-8B self reward 的 XSB 从 15.6% 升至 56.8%)。
- 作者承认威胁模型只覆盖静态重放的脚本化攻击,自适应攻击者是开放局限;两种奖励变体的优劣顺序随骨干模型反转,作者称实验未能分离原因;评审间一致性仅中等,单一评审的成功率不宜当作 ground truth。
- 威胁模型
- 威胁模型为脚本化多轮越狱攻击(scripted multi-turn attacks),攻击者把恶意意图分散到多个看似无害的用户轮次,在最后一轮投递 payload;攻击只控制用户轮次,静态重放,不能写入 assistant 通道;作者承认自适应攻击者(adaptive adversaries)是未解决的局限。受害系统是 Llama3.1-8B-Instruct 与 Qwen3-8B 聊天模型。
- 被测模型
- Llama3.1-8B-InstructQwen3-8B
- 基准
- AdvBenchHarmBenchMultiBreakCoSafeMHJMMLUHellaSwagWinograndeGSM8KTruthfulQAIFEvalXSTestXSBMT-BenchUltraChat-200k
- 指标
- SAFE %over-refusal (XSTest/XSB)MT-BenchUtility Avg.decision-flip rate
研究者提出 ShallowDefend 框架,让模型先给出显式、可解析的安全决策再生成回复,在两个模型家族、十四个基准的受控比较中取得最强的多轮安全表现。该工作针对安全对齐浅层化问题,安全行为集中在模型输出的前几个 token,同一有害请求分散到多轮对话中仍常能成功。框架按评估、决策、回复三步运行,决策承诺在载荷轮通过强化学习训练,规则式自验证奖励将承诺标签与对话已知性质比对,无需裁判模型与人工标注,同一格式也支持 LLM-as-judge 的分级决策空间与安全转向奖励。防御在保持安全领先的同时保留实用性,帮助性有适度代价。逐 token KL 分析与干预探针显示,训练效果集中在决定回复轨迹的短暂思考段,该处提交的决策是因果控制点,攻击者利用的浅层性反而成为防御机制。
深度解读
这篇论文试图解决什么问题?
多轮越狱成功率远高于单轮,作者认为根源是浅对齐,并提出把浅层位置变成防御者先占的显式决策点。
核心问题:安全对齐的模型能可靠拒绝单轮有害请求,但同一请求分散到多轮对话后仍经常得手,现有防御没有解决这一落差。
- 问题场景:多轮攻击者把恶意意图分散到各轮,每条消息单独看都无害,到 payload 轮才兑现;作者称人类红队仍能击败报告接近完美单轮鲁棒性的防御。
- 现有方法的不足:作者认为训练式防御(SFT、偏好优化、带评审奖励的 RL)都依赖一个 oracle(有害性分类器、偏好标注或 guard 模型)来监督回复的表面形式;评审之间在相当一部分样本上意见不一(§4.2),其错误会被带入训练,且模型从未学习一个规则可检查的显式安全决策。
- 核心观察:对齐是浅的——对齐模型与基座的分布差异几乎只出现在开头几个输出 token(Qi et al., 2024a),所以预填充肯定前缀能击破拒答。作者把这读作地图而非缺陷:既然一小段 token 决定整个回复的轨迹,防御者可以先占住它。
- 论文提出:Assess → Decide → Respond 框架,防御者每轮先评估意图、承诺一个可解析的安全决策、再据此回复;用 RL 只在 payload 轮训练该承诺,奖励可以是比对标签的规则(自验证),也可以是评审模型。
- 威胁模型:
- 攻击者目标:通过多轮对话让模型在最后一轮实质满足有害请求。
- 知识与能力:脚本化多轮攻击(scripted multi-turn attacks),静态重放,只控制用户轮次。
- 受害系统:Llama3.1-8B-Instruct 与 Qwen3-8B 聊天模型。
- 边界:作者明确自适应攻击者(adaptive adversaries)是开放局限;能写入 assistant 通道的攻击者在威胁模型之外(§A.2)。
有哪些相关研究?
相关工作分多轮越狱、多轮防御与浅对齐三组;作者以同数据受控对比区分本文与训练式防御。
多轮越狱
- Crescendo(Russinovich et al., 2024)等升级式攻击把有害目标拆成逐轮无害的请求;Ren et al. (2025) 同属此类。
- 说服与套近乎策略(Zeng et al., 2024);人类红队(Li et al., 2024)——作者称其效果明显强于自动化攻击。
- 作者指出这类攻击从不直接提出有害请求,因此单轮防御和输入过滤几乎不起作用。
多轮防御
- 监督回复的训练式方法:SFT 与偏好优化(Jiang et al., 2024;Yan et al., 2025)、以有害性分类器或 guard 模型为奖励的 RL(Ding et al., 2025;Guo et al., 2025)。作者批评这一设计把评审错误带入训练、把训练奖励与评测指标纠缠在一起,并打开奖励投机空间。
- 表示层方法:在激活空间分离有害与无害方向(Zou et al., 2024;Lu et al., 2025 的 X-Boundary)。
- 推理时干预:让模型回答前先分析用户意图(Zhang et al., 2025b)。作者称其与本文的评估步骤最接近,但指出它只靠深思熟虑获益,而本文消融显示没有承诺决策时防御恢复有限(§3.3)。
浅对齐
- Qi et al. (2024a) 提出对齐行为集中在开头几个输出 token;预填充肯定开头(Andriushchenko et al., 2025;Vega et al., 2023)、解码参数利用(Huang et al., 2024)和微调扰动(Qi et al., 2024b)都利用这一点击破拒答。
- 已有补救思路是加深对齐,例如用从有害前缀恢复的数据增强训练(Qi et al., 2024a;Zhang et al., 2025a)。
基线与基准:基线为 SFT、DPO(Rafailov et al., 2023)、SDGO、MTSA、MUSE-D、X-Boundary,全部在与本文相同的数据上训练;作者排除了贡献主要是数据集而非方法的防御(Ren et al., 2025;Rahman et al., 2025)。安全基准为 AdvBench、HarmBench、MultiBreak、CoSafe、MHJ。
作者定位:本文奖励只读模型自己承诺的决策并对照会话已知标签,不需要任何模型在环,且梯度可以不到达回复本身——作者称这区别于上述三类工作。
论文如何解决这个问题?
每轮按 Assess → Decide → Respond 生成,用 GRPO 只在最后一轮训练承诺的决策标签,奖励为规则或评审。
整体思路:把浅对齐留下的轨迹决定位置变成防御者先占的显式承诺——每轮先评估意图、承诺可解析的决策、再据此回复,用 RL 只在 payload 轮训练这个承诺。框架名为 Assess → Decide → Respond。
输出格式与决策空间
- 系统提示词要求每轮生成三段:Assessment(用户真实意图及潜在危害)、Decision(COMPLY / REFUSE,外部奖励版加 SAFE-REDIRECT)、Response(与决策一致的回复);两个系统提示词原文见附录 D(Figure 8)。
- 记第 t 轮输出为 yt = (dt, at),dt 是到决策行为止的深思熟虑段,at 是回复。两个关键性质:决策是外化的 token 段,规则可读;决策在回复之前,回复以其为条件生成(binding),因此只训练决策就能改变端到端行为。
两种奖励
- 外部奖励:评审 J 看到完整对话和最终回复,判定是否被越狱;R(cT) = 1 当且仅当 J 判为 SAFE,SAFE 包括拒答或安全重定向;无害对话只有有帮助地遵从才算 SAFE,以惩罚过拒。
- 自验证奖励:训练对话由已知性质的种子长成,目标决策 g(b) 对有害会话为 refuse、无害为 comply;R(cT) = 1 当且仅当最后一轮解析出的标签等于 g(b) 且回复非空。非空条件防止"只输出 refuse 不回答"的退化最优。
- 自验证设置排除 SAFE-REDIRECT:作者称有害会话中 refuse 与 safe-redirect 都是可辩护承诺,只读标签的规则无法指定唯一目标,故该设置限于二元决策空间。
梯度范围
- Full gradient(默认):最后一轮全部生成 token 可训练,回复风格随决策共同调整。
- Partial gradient:只有决策边界之前的 token 可训练,回复 token 掩码为 0;作者称其可行依赖 binding 性质,且基本保留基座回复风格。边界定位用二分查找把字符级边界映射到 token 下标。
训练算法
- 用 GRPO 优化;每轮长度预算:每轮回复上限 L 个 token,作者称只有轨迹级预算时策略会膨胀早期易答轮、挤占后面难轮,每轮上限堵住这一奖励投机路径。
- 结果监督:奖励只给最后一轮,R(τ) = r(yT ∣ x1:T, y1:T−1);作者称多轮越狱在最后一轮兑现,过程级信号会被易答轮主导。
- 实现(附录 C):LoRA(rank 32,α=32),Adam 学习率 1e-4,KL 系数 0.001,熵奖励为 0;每轮生成上限 2048 token,最多 7 个防御轮,每个 prompt 采 n=16 条 rollout;Qwen3 启用其原生推理通道。
训练数据
- 有害池:同一批 AdvBench 行为上实例化的五个多轮攻击家族(SEMA、Crescendo、FITD、Echoing、Hidden Intention Streamline),行为划分为不相交的训练/测试集,每个训练行为随机分配一个家族。
- 无害池:UltraChat-200k 多轮对话,在表面形式和深度上与有害对话匹配;两池等比例混合以抑制过拒。
论文做了哪些实验?
两个骨干、14 个基准、6 个评审的受控对比:作者称两种变体平均 SAFE 率 90.4%–93.4% 超过全部基线,代价是过拒上升。
实验设置
- 被测模型:Llama3.1-8B-Instruct 与 Qwen3-8B 两个骨干;每个奖励变体报 unaligned(基座权重+框架提示词)与 aligned(RL 训练后)两个条件。
- 基线:SFT、DPO、SDGO、MTSA、MUSE-D、X-Boundary,全部在与本文相同的数据上训练;Qwen3-8B 上四个权重训练的基线各需一项配置修改才超过基座(附录 C),本文配方跨骨干不变。
- 安全基准:AdvBench(训练攻击的行为来源)、HarmBench(未见行为来源)、MultiBreak、CoSafe、MHJ(三个训练外的多轮基准);样本量 n=516、785、500、1400、537(Table 3)。
- 效用与有用性:MMLU、HellaSwag、Winogrande、GSM8K、TruthfulQA、IFEval(completion 格式,绕过聊天模板,Figure 2);XSTest(n=250)、XSB(n=340)测过拒,MT-Bench(160 个逐轮分数)测对话质量。
- 评审:主评审 gpt-5-mini,输入完整对话与目标行为,输出二元有害判定;附录 E.3 报五个训练外评审(gpt-oss-20b、StrongREJECT、Llama-Guard-3、Qwen3Guard、HarmBench-13B)。
- 统计:Table 3 给出 95% 置信区间(安全与过拒用 Wilson,平均用行为聚类 bootstrap)。
主结果
Table 1(评审 gpt-5-mini,SAFE % ↑;Avg. 为五个安全基准均值):
表格较宽,可左右滑动
方法 Llama Avg. Llama MHJ Qwen Avg. Qwen MHJ Qwen XSB ↓ Base 59.9 38.0 46.1 22.3 15.6 SFT 75.9 55.1 59.9 35.6 40.9 DPO 69.4 46.7 80.2 53.6 39.4 SDGO 60.6 39.1 47.9 33.0 15.9 MTSA 69.2 47.1 84.8 70.9 53.5 MUSE-D 67.2 45.3 85.7 61.5 40.9 X-Boundary 86.3 52.0 64.6 27.4 49.1 Self (aligned) 90.4 58.5 93.4 75.2 56.8 External (aligned) 92.9 71.1 87.6 63.1 42.6 - 作者称本文方法在两个骨干上平均安全率最高且每个安全列都领先;Llama 上优势主要来自最强基线处理最差的套件(尤其人工构造的 MHJ),Qwen 上是对全部五个套件的均匀领先。
- 代价:效用基本持平(各方法都在基座约一个联合区间内,Table 3),过拒上升——作者称对齐防御者相对基座的过拒升高超出置信区间,是真实成本;MT-Bench 上本文模型保持竞争力(如 Qwen self reward 7.36 对基座 6.08)。
- 区间解读(Table 3):Qwen 上 self reward 的平均领先 MUSE-D 约九个半宽且各套件区间不相交,但 MHJ 上与 MTSA 区间重叠;external reward 在 Qwen 上的平均领先不足两个半宽,作者称应读作与最强基线相当而非有序。
消融(Figure 3,Llama 骨干)
- 去掉 Decision 行是损害最大的改动:各套件安全率都下降,人类红队下甚至低于未防御基座;去掉 Assessment 代价小得多,主要表现为过拒上升。作者据此认为承载防御的是承诺而非其前的深思熟虑。
- Per-turn reward 损失安全但把过拒压到最低;partial gradient 以过拒适度上升换鲁棒性,回答质量不变。
- 数据配比:自动化安全在各配比下都饱和,配比只决定策略在权衡前沿上的位置;过采有害对话以过拒和回答质量为代价换红队鲁棒性,作者保留均衡配比。
干预探针(附录 A,SEMA/AdvBench payload 轮,n=104)
- 强制决策探针(Figure 6 左):强制 REFUSE 使未训练的 unaligned 模型在两个骨干上达到完全安全;强制 COMPLY 使 unaligned 各臂崩塌,而 aligned 各臂仍远高于其 unaligned 对应——作者称训练同时加固了承诺与其后的回复。
- 深度探针(Figure 6 右):强制 REFUSE 后预填充 k 个有害 token;unaligned 各臂少量预填充即失去大部分安全,训练在 Llama 上带来决策后深度、在 Qwen3 上只有边际深度;所有曲线最终都衰减,作者称这是"浅是设计使然"的防御的预期特征,能任意写入 assistant 通道的攻击者在威胁模型之外。
- 解码采样探针:每臂 1,248 个样本;unaligned Llama 中翻到 COMPLY 的样本约三分之二被判越狱,aligned 各臂几乎不采到 COMPLY(翻转率至多 0.2%);Qwen3 三标签臂 20–30% 的翻转全部发生在 REFUSE 与 SAFE-REDIRECT 之间,攻击成功率保持为零。
其他分析
- KL 分析(Figure 4):作者称 DKL(aligned ∥ unaligned) 不集中在前几个 token,而是分布在决策前的评估段、在决策附近达峰后逐渐消失;aligned 与 unaligned 都在第一个位置就与基座分开。
- 评审一致性(Figure 5,3,738 条对话、七个判定来源):所有评审对之间为正但仅中等相关;模型自己的 Decision 标签与每个外部评审的相关程度与评审间一致性相当,尽管外部评审看不到深思熟虑段。
- 多评审安全(Table 4):self reward 在 Qwen3-8B 的 25 个评审×基准格子中 22 个为严格最高,唯一被基线超过的格子是 Qwen3Guard 下的 MHJ(MTSA 81.8 对 78.8);external reward 有 9 个格子跌出前二。作者称评审独立性结论只适用于 self reward;五评审平均下 self reward 领先最强基线 +7.1(MultiBreak)、+2.6(MHJ)、+3.2(CoSafe)。
有什么可以进一步探索的点?
作者承认自适应攻击者未覆盖、两种奖励的优劣顺序随骨干反转且原因未明;评审一致性仅中等。
作者指出的局限与后续方向
- 自适应攻击者:威胁模型是静态重放的脚本化多轮攻击,作者明确"adaptive adversaries acknowledged as an open limitation"(§5 Related Work)。
- 奖励变体排序不可预知:self 与 external 两种奖励哪个更安全、哪个更有用随骨干反转(附录 B);作者称实验未能分离原因——奖励在读取内容和是否有评审在环两方面都不同,两个骨干在决策前是否有原生推理通道也不同,并将其标为开放问题。
- 单一评审不可作 ground truth:评审间仅中等相关、在相当一部分样本上意见不一(§4.2),作者以此提醒不要把任何单评审的攻击成功率当作真值,并据此在附录 E.3 报多评审结果。
- 自验证奖励限于二元决策:只读标签的规则无法在 refuse 与 safe-redirect 间指定唯一目标,三标签空间留给评审奖励(§2.3)。
- 防御浅是设计使然:深度探针显示保护不能抵御能任意写入 assistant 通道的攻击者(§A.2),作者称该探针量化的是威胁模型的边界。
实验覆盖范围
- 被测模型为 Llama3.1-8B-Instruct 与 Qwen3-8B 两个骨干;训练用 LoRA,配方跨骨干不变(附录 C)。
- 安全评测覆盖五个基准共 3,738 条对话(Table 3),主评审 gpt-5-mini,另有五个训练外评审(Table 4);论文未报告评审与人工判定的一致性。
- 干预探针在 SEMA/AdvBench 的 104 个 payload 轮上进行(附录 A);解码采样探针每臂 1,248 个样本。
- 训练攻击覆盖五个多轮攻击家族,均实例化于同一批 AdvBench 行为;无害数据为 UltraChat-200k。
- 效用评测以 completion 格式进行、绕过聊天模板(Figure 2),作者称其绕过了脚手架和对齐训练的格式集中成分。
总结一下论文的主要内容
把浅对齐从弱点改造成防御机制:显式承诺加末轮 RL,作者称多轮安全超过同数据基线,代价是过拒。
一篇多轮越狱防御论文,核心立场是把"对齐浅"这一被攻击者利用的性质改造成防御机制。
- 问题:单轮拒答已较可靠,但分散到多轮的有害请求仍常得手;作者认为现有训练式防御依赖评审监督回复表面形式,模型从未学习规则可检查的显式安全决策。
- 方法:Assess → Decide → Respond——每轮先评估意图、承诺可解析的决策标签、再据此回复;GRPO 只在 payload 轮给奖励。自验证奖励用规则比对承诺标签与会话已知性质,无需评审与标注;外部奖励版支持三标签(含 SAFE-REDIRECT)。
- 主结果(Table 1,gpt-5-mini 评审):Llama3.1-8B 上 self/external 变体平均 SAFE 率 90.4%/92.9%,Qwen3-8B 上 93.4%/87.6%,最强基线为 X-Boundary 86.3%(Llama)与 MUSE-D 85.7%(Qwen);最难的 MHJ 套件上 Qwen self reward 达 75.2%,基座为 22.3%。
- 代价与边界:效用基本持平,过拒上升(Qwen self reward 的 XSB 从 15.6% 升至 56.8%);Table 3 区间显示部分单套件上与最强基线不可区分。
- 机理证据:强制 REFUSE 使未训练模型完全安全、强制 COMPLY 下 aligned 模型保持高安全(附录 A);KL 分析显示训练效果分布在评估-决策段而非开头拒答前缀(Figure 4);去掉 Decision 行的消融损害最大。
- 作者结论:对齐的结构性性质可以被工程化为防御,承诺提供了可扩展的、替代评审监督的方案;自适应攻击者与两种奖励的排序问题留作开放问题。