跳到正文
原文

ShallowDefend:利用浅层安全对齐的多轮防御方法

ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender

arXiv· arXiv:2610.40627· Qiyao Ma, Xiaodong Liu, Weiwei Yang, Mingqian Feng, Chengquan Guo, Jialin Song, Carolyn Buractaon, Zhe Zhao, Junshan Zhang, Sandeep Atluri, Christopher White, Jianfeng GaoUniversity of California, Davis; Microsoft Research本站收录· 21 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出多轮防御框架 Assess → Decide → Respond,用 RL 训练模型先承诺可解析的安全决策再回复;作者称在 Llama3.1-8B 与 Qwen3-8B 上平均 SAFE 率达 90.4%–93.4%,优于同数据训练的基线。

威胁模型威胁模型为脚本化多轮越狱攻击(scripted multi-turn attacks),攻击者把恶意意图分散到多个看似无害的用户轮次,在最后一轮投递 payload;攻击只控制用户轮次,静态重放,不能写入 assistant 通道;作者承认自适应攻击者(adaptive adversaries)是未解决的局限。

问题
安全对齐的模型能可靠拒绝单轮有害请求,但同一请求分散到多轮对话后仍经常得手。作者认为根源在于对齐是浅的:安全行为集中在回复开头几个 token,现有多轮防御只监督回复表面形式,模型从未学习显式的安全决策。
方法
提出 Assess → Decide → Respond:每轮先评估用户意图,再承诺一个可解析的决策标签(COMPLY/REFUSE,外部奖励版加 SAFE-REDIRECT),然后据此生成回复;用 GRPO 只在最后一轮施加奖励,自验证奖励用规则比对承诺标签与会话已知性质,无需评审模型。
实验与结果
在 Llama3.1-8B 与 Qwen3-8B、五个安全基准上,作者称两种奖励变体的平均 SAFE 率(90.4%–93.4%)超过同数据训练的全部基线,并在六个评审下保持领先;效用基本持平,代价是过拒率上升(如 Qwen3-8B self reward 的 XSB 从 15.6% 升至 56.8%)。
局限与可以继续做的
作者承认威胁模型只覆盖静态重放的脚本化攻击,自适应攻击者是开放局限;两种奖励变体的优劣顺序随骨干模型反转,作者称实验未能分离原因;评审间一致性仅中等,单一评审的成功率不宜当作 ground truth。
实验设置Llama3.1-8B-Instruct、Qwen3-8B · AdvBench、HarmBench 等 · SAFE %、over-refusal (XSTest/XSB) 等
威胁模型
威胁模型为脚本化多轮越狱攻击(scripted multi-turn attacks),攻击者把恶意意图分散到多个看似无害的用户轮次,在最后一轮投递 payload;攻击只控制用户轮次,静态重放,不能写入 assistant 通道;作者承认自适应攻击者(adaptive adversaries)是未解决的局限。受害系统是 Llama3.1-8B-Instruct 与 Qwen3-8B 聊天模型。
被测模型
Llama3.1-8B-InstructQwen3-8B
基准
AdvBenchHarmBenchMultiBreakCoSafeMHJMMLUHellaSwagWinograndeGSM8KTruthfulQAIFEvalXSTestXSBMT-BenchUltraChat-200k
指标
SAFE %over-refusal (XSTest/XSB)MT-BenchUtility Avg.decision-flip rate
AI 导读研究者提出 ShallowDefend 框架,让模型先给出显式、可解析的安全决策再生成回复,在两个模型家族、十四个基准的受控比较中取得最强的多轮安全表现。该工作针对安全对齐浅层化问题,安全行为集中在模型输出的前几个 token,同一有害请求分散到多轮对话中仍常能成功。框架按评估、决策、回复三步运行,决策承诺在载荷轮通过强化学习训练,规则式自验证奖励将承诺标签与对话已知性质比对,无需裁判模型与人工标注,同一格式也支持 LLM-as-judge 的分级决策空间与安全转向奖励。防御在保持安全领先的同时保留实用性,帮助性有适度代价。逐 token KL 分析与干预探针显示,训练效果集中在决定回复轨迹的短暂思考段,该处提交的决策是因果控制点,攻击者利用的浅层性反而成为防御机制。

研究者提出 ShallowDefend 框架,让模型先给出显式、可解析的安全决策再生成回复,在两个模型家族、十四个基准的受控比较中取得最强的多轮安全表现。该工作针对安全对齐浅层化问题,安全行为集中在模型输出的前几个 token,同一有害请求分散到多轮对话中仍常能成功。框架按评估、决策、回复三步运行,决策承诺在载荷轮通过强化学习训练,规则式自验证奖励将承诺标签与对话已知性质比对,无需裁判模型与人工标注,同一格式也支持 LLM-as-judge 的分级决策空间与安全转向奖励。防御在保持安全领先的同时保留实用性,帮助性有适度代价。逐 token KL 分析与干预探针显示,训练效果集中在决定回复轨迹的短暂思考段,该处提交的决策是因果控制点,攻击者利用的浅层性反而成为防御机制。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    多轮越狱成功率远高于单轮,作者认为根源是浅对齐,并提出把浅层位置变成防御者先占的显式决策点。

    核心问题:安全对齐的模型能可靠拒绝单轮有害请求,但同一请求分散到多轮对话后仍经常得手,现有防御没有解决这一落差。

    • 问题场景:多轮攻击者把恶意意图分散到各轮,每条消息单独看都无害,到 payload 轮才兑现;作者称人类红队仍能击败报告接近完美单轮鲁棒性的防御。
    • 现有方法的不足:作者认为训练式防御(SFT、偏好优化、带评审奖励的 RL)都依赖一个 oracle(有害性分类器、偏好标注或 guard 模型)来监督回复的表面形式;评审之间在相当一部分样本上意见不一(§4.2),其错误会被带入训练,且模型从未学习一个规则可检查的显式安全决策。
    • 核心观察:对齐是浅的——对齐模型与基座的分布差异几乎只出现在开头几个输出 token(Qi et al., 2024a),所以预填充肯定前缀能击破拒答。作者把这读作地图而非缺陷:既然一小段 token 决定整个回复的轨迹,防御者可以先占住它。
    • 论文提出:Assess → Decide → Respond 框架,防御者每轮先评估意图、承诺一个可解析的安全决策、再据此回复;用 RL 只在 payload 轮训练该承诺,奖励可以是比对标签的规则(自验证),也可以是评审模型。
    • 威胁模型:
      • 攻击者目标:通过多轮对话让模型在最后一轮实质满足有害请求。
      • 知识与能力:脚本化多轮攻击(scripted multi-turn attacks),静态重放,只控制用户轮次。
      • 受害系统:Llama3.1-8B-Instruct 与 Qwen3-8B 聊天模型。
      • 边界:作者明确自适应攻击者(adaptive adversaries)是开放局限;能写入 assistant 通道的攻击者在威胁模型之外(§A.2)。
  2. 有哪些相关研究?

    相关工作分多轮越狱、多轮防御与浅对齐三组;作者以同数据受控对比区分本文与训练式防御。

    多轮越狱

    • Crescendo(Russinovich et al., 2024)等升级式攻击把有害目标拆成逐轮无害的请求;Ren et al. (2025) 同属此类。
    • 说服与套近乎策略(Zeng et al., 2024);人类红队(Li et al., 2024)——作者称其效果明显强于自动化攻击。
    • 作者指出这类攻击从不直接提出有害请求,因此单轮防御和输入过滤几乎不起作用。

    多轮防御

    • 监督回复的训练式方法:SFT 与偏好优化(Jiang et al., 2024;Yan et al., 2025)、以有害性分类器或 guard 模型为奖励的 RL(Ding et al., 2025;Guo et al., 2025)。作者批评这一设计把评审错误带入训练、把训练奖励与评测指标纠缠在一起,并打开奖励投机空间。
    • 表示层方法:在激活空间分离有害与无害方向(Zou et al., 2024;Lu et al., 2025 的 X-Boundary)。
    • 推理时干预:让模型回答前先分析用户意图(Zhang et al., 2025b)。作者称其与本文的评估步骤最接近,但指出它只靠深思熟虑获益,而本文消融显示没有承诺决策时防御恢复有限(§3.3)。

    浅对齐

    • Qi et al. (2024a) 提出对齐行为集中在开头几个输出 token;预填充肯定开头(Andriushchenko et al., 2025;Vega et al., 2023)、解码参数利用(Huang et al., 2024)和微调扰动(Qi et al., 2024b)都利用这一点击破拒答。
    • 已有补救思路是加深对齐,例如用从有害前缀恢复的数据增强训练(Qi et al., 2024a;Zhang et al., 2025a)。

    基线与基准:基线为 SFT、DPO(Rafailov et al., 2023)、SDGO、MTSA、MUSE-D、X-Boundary,全部在与本文相同的数据上训练;作者排除了贡献主要是数据集而非方法的防御(Ren et al., 2025;Rahman et al., 2025)。安全基准为 AdvBench、HarmBench、MultiBreak、CoSafe、MHJ。

    作者定位:本文奖励只读模型自己承诺的决策并对照会话已知标签,不需要任何模型在环,且梯度可以不到达回复本身——作者称这区别于上述三类工作。

  3. 论文如何解决这个问题?

    每轮按 Assess → Decide → Respond 生成,用 GRPO 只在最后一轮训练承诺的决策标签,奖励为规则或评审。

    整体思路:把浅对齐留下的轨迹决定位置变成防御者先占的显式承诺——每轮先评估意图、承诺可解析的决策、再据此回复,用 RL 只在 payload 轮训练这个承诺。框架名为 Assess → Decide → Respond。

    输出格式与决策空间

    • 系统提示词要求每轮生成三段:Assessment(用户真实意图及潜在危害)、Decision(COMPLY / REFUSE,外部奖励版加 SAFE-REDIRECT)、Response(与决策一致的回复);两个系统提示词原文见附录 D(Figure 8)。
    • 记第 t 轮输出为 yt = (dt, at),dt 是到决策行为止的深思熟虑段,at 是回复。两个关键性质:决策是外化的 token 段,规则可读;决策在回复之前,回复以其为条件生成(binding),因此只训练决策就能改变端到端行为。

    两种奖励

    • 外部奖励:评审 J 看到完整对话和最终回复,判定是否被越狱;R(cT) = 1 当且仅当 J 判为 SAFE,SAFE 包括拒答或安全重定向;无害对话只有有帮助地遵从才算 SAFE,以惩罚过拒。
    • 自验证奖励:训练对话由已知性质的种子长成,目标决策 g(b) 对有害会话为 refuse、无害为 comply;R(cT) = 1 当且仅当最后一轮解析出的标签等于 g(b) 且回复非空。非空条件防止"只输出 refuse 不回答"的退化最优。
    • 自验证设置排除 SAFE-REDIRECT:作者称有害会话中 refuse 与 safe-redirect 都是可辩护承诺,只读标签的规则无法指定唯一目标,故该设置限于二元决策空间。

    梯度范围

    • Full gradient(默认):最后一轮全部生成 token 可训练,回复风格随决策共同调整。
    • Partial gradient:只有决策边界之前的 token 可训练,回复 token 掩码为 0;作者称其可行依赖 binding 性质,且基本保留基座回复风格。边界定位用二分查找把字符级边界映射到 token 下标。

    训练算法

    • 用 GRPO 优化;每轮长度预算:每轮回复上限 L 个 token,作者称只有轨迹级预算时策略会膨胀早期易答轮、挤占后面难轮,每轮上限堵住这一奖励投机路径。
    • 结果监督:奖励只给最后一轮,R(τ) = r(yT ∣ x1:T, y1:T−1);作者称多轮越狱在最后一轮兑现,过程级信号会被易答轮主导。
    • 实现(附录 C):LoRA(rank 32,α=32),Adam 学习率 1e-4,KL 系数 0.001,熵奖励为 0;每轮生成上限 2048 token,最多 7 个防御轮,每个 prompt 采 n=16 条 rollout;Qwen3 启用其原生推理通道。

    训练数据

    • 有害池:同一批 AdvBench 行为上实例化的五个多轮攻击家族(SEMA、Crescendo、FITD、Echoing、Hidden Intention Streamline),行为划分为不相交的训练/测试集,每个训练行为随机分配一个家族。
    • 无害池:UltraChat-200k 多轮对话,在表面形式和深度上与有害对话匹配;两池等比例混合以抑制过拒。
  4. 论文做了哪些实验?

    两个骨干、14 个基准、6 个评审的受控对比:作者称两种变体平均 SAFE 率 90.4%–93.4% 超过全部基线,代价是过拒上升。

    实验设置

    • 被测模型:Llama3.1-8B-Instruct 与 Qwen3-8B 两个骨干;每个奖励变体报 unaligned(基座权重+框架提示词)与 aligned(RL 训练后)两个条件。
    • 基线:SFT、DPO、SDGO、MTSA、MUSE-D、X-Boundary,全部在与本文相同的数据上训练;Qwen3-8B 上四个权重训练的基线各需一项配置修改才超过基座(附录 C),本文配方跨骨干不变。
    • 安全基准:AdvBench(训练攻击的行为来源)、HarmBench(未见行为来源)、MultiBreak、CoSafe、MHJ(三个训练外的多轮基准);样本量 n=516、785、500、1400、537(Table 3)。
    • 效用与有用性:MMLU、HellaSwag、Winogrande、GSM8K、TruthfulQA、IFEval(completion 格式,绕过聊天模板,Figure 2);XSTest(n=250)、XSB(n=340)测过拒,MT-Bench(160 个逐轮分数)测对话质量。
    • 评审:主评审 gpt-5-mini,输入完整对话与目标行为,输出二元有害判定;附录 E.3 报五个训练外评审(gpt-oss-20b、StrongREJECT、Llama-Guard-3、Qwen3Guard、HarmBench-13B)。
    • 统计:Table 3 给出 95% 置信区间(安全与过拒用 Wilson,平均用行为聚类 bootstrap)。

    主结果

    Table 1(评审 gpt-5-mini,SAFE % ↑;Avg. 为五个安全基准均值):

    表格较宽,可左右滑动

    方法Llama Avg.Llama MHJQwen Avg.Qwen MHJQwen XSB ↓
    Base59.938.046.122.315.6
    SFT75.955.159.935.640.9
    DPO69.446.780.253.639.4
    SDGO60.639.147.933.015.9
    MTSA69.247.184.870.953.5
    MUSE-D67.245.385.761.540.9
    X-Boundary86.352.064.627.449.1
    Self (aligned)90.458.593.475.256.8
    External (aligned)92.971.187.663.142.6
    • 作者称本文方法在两个骨干上平均安全率最高且每个安全列都领先;Llama 上优势主要来自最强基线处理最差的套件(尤其人工构造的 MHJ),Qwen 上是对全部五个套件的均匀领先。
    • 代价:效用基本持平(各方法都在基座约一个联合区间内,Table 3),过拒上升——作者称对齐防御者相对基座的过拒升高超出置信区间,是真实成本;MT-Bench 上本文模型保持竞争力(如 Qwen self reward 7.36 对基座 6.08)。
    • 区间解读(Table 3):Qwen 上 self reward 的平均领先 MUSE-D 约九个半宽且各套件区间不相交,但 MHJ 上与 MTSA 区间重叠;external reward 在 Qwen 上的平均领先不足两个半宽,作者称应读作与最强基线相当而非有序。

    消融(Figure 3,Llama 骨干)

    • 去掉 Decision 行是损害最大的改动:各套件安全率都下降,人类红队下甚至低于未防御基座;去掉 Assessment 代价小得多,主要表现为过拒上升。作者据此认为承载防御的是承诺而非其前的深思熟虑。
    • Per-turn reward 损失安全但把过拒压到最低;partial gradient 以过拒适度上升换鲁棒性,回答质量不变。
    • 数据配比:自动化安全在各配比下都饱和,配比只决定策略在权衡前沿上的位置;过采有害对话以过拒和回答质量为代价换红队鲁棒性,作者保留均衡配比。

    干预探针(附录 A,SEMA/AdvBench payload 轮,n=104)

    • 强制决策探针(Figure 6 左):强制 REFUSE 使未训练的 unaligned 模型在两个骨干上达到完全安全;强制 COMPLY 使 unaligned 各臂崩塌,而 aligned 各臂仍远高于其 unaligned 对应——作者称训练同时加固了承诺与其后的回复。
    • 深度探针(Figure 6 右):强制 REFUSE 后预填充 k 个有害 token;unaligned 各臂少量预填充即失去大部分安全,训练在 Llama 上带来决策后深度、在 Qwen3 上只有边际深度;所有曲线最终都衰减,作者称这是"浅是设计使然"的防御的预期特征,能任意写入 assistant 通道的攻击者在威胁模型之外。
    • 解码采样探针:每臂 1,248 个样本;unaligned Llama 中翻到 COMPLY 的样本约三分之二被判越狱,aligned 各臂几乎不采到 COMPLY(翻转率至多 0.2%);Qwen3 三标签臂 20–30% 的翻转全部发生在 REFUSE 与 SAFE-REDIRECT 之间,攻击成功率保持为零。

    其他分析

    • KL 分析(Figure 4):作者称 DKL(aligned ∥ unaligned) 不集中在前几个 token,而是分布在决策前的评估段、在决策附近达峰后逐渐消失;aligned 与 unaligned 都在第一个位置就与基座分开。
    • 评审一致性(Figure 5,3,738 条对话、七个判定来源):所有评审对之间为正但仅中等相关;模型自己的 Decision 标签与每个外部评审的相关程度与评审间一致性相当,尽管外部评审看不到深思熟虑段。
    • 多评审安全(Table 4):self reward 在 Qwen3-8B 的 25 个评审×基准格子中 22 个为严格最高,唯一被基线超过的格子是 Qwen3Guard 下的 MHJ(MTSA 81.8 对 78.8);external reward 有 9 个格子跌出前二。作者称评审独立性结论只适用于 self reward;五评审平均下 self reward 领先最强基线 +7.1(MultiBreak)、+2.6(MHJ)、+3.2(CoSafe)。
  5. 有什么可以进一步探索的点?

    作者承认自适应攻击者未覆盖、两种奖励的优劣顺序随骨干反转且原因未明;评审一致性仅中等。

    作者指出的局限与后续方向

    • 自适应攻击者:威胁模型是静态重放的脚本化多轮攻击,作者明确"adaptive adversaries acknowledged as an open limitation"(§5 Related Work)。
    • 奖励变体排序不可预知:self 与 external 两种奖励哪个更安全、哪个更有用随骨干反转(附录 B);作者称实验未能分离原因——奖励在读取内容和是否有评审在环两方面都不同,两个骨干在决策前是否有原生推理通道也不同,并将其标为开放问题。
    • 单一评审不可作 ground truth:评审间仅中等相关、在相当一部分样本上意见不一(§4.2),作者以此提醒不要把任何单评审的攻击成功率当作真值,并据此在附录 E.3 报多评审结果。
    • 自验证奖励限于二元决策:只读标签的规则无法在 refuse 与 safe-redirect 间指定唯一目标,三标签空间留给评审奖励(§2.3)。
    • 防御浅是设计使然:深度探针显示保护不能抵御能任意写入 assistant 通道的攻击者(§A.2),作者称该探针量化的是威胁模型的边界。

    实验覆盖范围

    • 被测模型为 Llama3.1-8B-Instruct 与 Qwen3-8B 两个骨干;训练用 LoRA,配方跨骨干不变(附录 C)。
    • 安全评测覆盖五个基准共 3,738 条对话(Table 3),主评审 gpt-5-mini,另有五个训练外评审(Table 4);论文未报告评审与人工判定的一致性。
    • 干预探针在 SEMA/AdvBench 的 104 个 payload 轮上进行(附录 A);解码采样探针每臂 1,248 个样本。
    • 训练攻击覆盖五个多轮攻击家族,均实例化于同一批 AdvBench 行为;无害数据为 UltraChat-200k。
    • 效用评测以 completion 格式进行、绕过聊天模板(Figure 2),作者称其绕过了脚手架和对齐训练的格式集中成分。
  6. 总结一下论文的主要内容

    把浅对齐从弱点改造成防御机制:显式承诺加末轮 RL,作者称多轮安全超过同数据基线,代价是过拒。

    一篇多轮越狱防御论文,核心立场是把"对齐浅"这一被攻击者利用的性质改造成防御机制。

    • 问题:单轮拒答已较可靠,但分散到多轮的有害请求仍常得手;作者认为现有训练式防御依赖评审监督回复表面形式,模型从未学习规则可检查的显式安全决策。
    • 方法:Assess → Decide → Respond——每轮先评估意图、承诺可解析的决策标签、再据此回复;GRPO 只在 payload 轮给奖励。自验证奖励用规则比对承诺标签与会话已知性质,无需评审与标注;外部奖励版支持三标签(含 SAFE-REDIRECT)。
    • 主结果(Table 1,gpt-5-mini 评审):Llama3.1-8B 上 self/external 变体平均 SAFE 率 90.4%/92.9%,Qwen3-8B 上 93.4%/87.6%,最强基线为 X-Boundary 86.3%(Llama)与 MUSE-D 85.7%(Qwen);最难的 MHJ 套件上 Qwen self reward 达 75.2%,基座为 22.3%。
    • 代价与边界:效用基本持平,过拒上升(Qwen self reward 的 XSB 从 15.6% 升至 56.8%);Table 3 区间显示部分单套件上与最强基线不可区分。
    • 机理证据:强制 REFUSE 使未训练模型完全安全、强制 COMPLY 下 aligned 模型保持高安全(附录 A);KL 分析显示训练效果分布在评估-决策段而非开头拒答前缀(Figure 4);去掉 Decision 行的消融损害最大。
    • 作者结论:对齐的结构性性质可以被工程化为防御,承诺提供了可扩展的、替代评审监督的方案;自适应攻击者与两种奖励的排序问题留作开放问题。

相关论文

共同使用 CoSafe
再看 3 篇
共同使用 MHJ
共同使用 Winogrande
阅读原文arxiv.org