SAVeR²:基于推理与可验证奖励的大推理模型安全对齐
SAVeR$^2$: Reasoning-based Safety Alignment for Large Reasoning Models via Verifiable Rewards
作者提出 LRM 安全对齐方法 SAVeR2,用四项可验证奖励加梯度投影;作者称在 DS-14B 上安全平均 94.28、H-mean 82.82(Table 1、2)。
防御方对 LRM 做安全对齐训练,使其面对恶意提示词与越狱攻击(PAIR、PAP-M、GCG、TAP 等)时,推理过程与最终答案均无恶意内容、显式识别恶意意图且保持一致,同时不损害通用推理能力、降低对良性提示的过度拒答。
- 大型推理模型(LRM)的显式长 CoT 带来新安全风险:即使最终答案拒答,中间推理也可能泄露有害细节。作者认为现有 LRM 安全对齐方法存在对抗泛化差、推理能力受损的"安全税"、单一粗粒度奖励不真实三个问题。
- 提出 SAVeR2:先 SFT 预热让模型学会结构化安全推理,再按难度筛选中等难度训练数据,最后用 GRPO 联合训练四项细粒度可验证安全奖励与通用推理奖励,并用梯度投影解析地消除安全梯度与推理梯度的冲突,另加良性数据奖励缓解过度拒答。
- 在 1.5B 至 671B 模型上评测:DS-14B 上安全平均 94.28、BSA F-score 81.24,均高于所列基线(Table 1);通用能力基本保持,DS-14B H-mean 82.82(Table 2);过度拒答 FRR 平均 22.33(Table 5);AdvBench 越狱下平均 DSR 97.33%(Table 9)。
- 作者在 Limitations 节指出:梯度投影相比标准 GRPO 引入额外计算开销,未来可探索更高效的投影矩阵近似方法。实验覆盖上,被测模型为 DeepSeek-R1 蒸馏系列(1.5B/7B/14B)、R1-671B 与 Qwen3-4B-Thinking,评审主要依赖 GPT-4o 与 Llama-Guard。
- 被测模型
- DeepSeek-R1-Distill-Qwen-1.5BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-671BQwen3-4B-ThinkingGPT-4oQwen2.5-7B
- 基准
- StrongRejectWildJailbreakXSTestBSA (Beyond Safe Answer)OKTestFalseRejectAIME24Math-500LiveCodeBenchHumanEvalMMLUAdvBenchMoReBenchGDPvalProfBench
- 指标
- defense success rateSafe@1Safe@kThink@1Think@kF-scoreFalse Refusal Rate (FRR)H-meanCohen's κ
SAVeR² 是一种面向大推理模型(LRM)的安全对齐方法,将安全目标拆解为四类细粒度可验证奖励信号,并用难度感知数据选择稳定训练。其引入保留推理能力的梯度投影机制,化解安全与推理梯度的冲突,有效消除“安全税”。在 1.5B 至 671B 模型上的实验显示,该方法在多个基准上安全表现更优、过度拒答率更低,且不损害通用推理能力。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
模安局盘点NeurIPS 2026 AI安全七大研究重点
- 公众号 模安局写出了论文标题NeurIPS 2026 AI安全的七个研究重点
SAVeR²: Reasoning-based Safety Alignment for Large Reasoning Models via Verifiable Rewards
深度解读
这篇论文试图解决什么问题?
解决 LRM 显式 CoT 带来的安全对齐问题:推理链与答案都要安全,且不付"安全税"。
核心问题:如何对大型推理模型(LRM)做安全对齐,使其推理过程和最终答案都安全,同时不损害通用推理能力。
- 问题场景:LRM(如 DeepSeek-R1、OpenAI O 系列)通过显式长 CoT 获得强推理能力,但作者指出长链自我反思可能使推理轨迹迁就恶意输入;即使最终答案拒答,中间推理步骤仍可能暴露有害细节(引 [73, 53])。
- 作者总结的安全目标:(1) 推理过程显式识别输入是否含恶意意图;(2) 推理过程与最终答案均无恶意内容;(3) 推理中的安全分析与最终答案保持一致,避免一方安全、另一方有害的矛盾。
- 现有方法的不足(作者观点):作者认为当前 LRM 安全对齐方法有三个局限:对分布外或对抗性恶意输入泛化差;安全对齐与推理能力存在 trade-off("安全税",过度拒答率上升);RL 方法用的单一粗粒度安全奖励无法真实反映整体响应的安全程度,易引发 reward hacking 和过拟合。
- 论文提出的方案:SAVeR2(Safety Alignment via Verifiable Rewards with Reasoning capability),将安全目标分解为四个细粒度可验证奖励,配合难度感知数据选择、推理保持的梯度投影机制和过度拒答缓解奖励,用 RL 激励 LRM 调用自身推理能力做安全识别。
- 威胁模型:
- 防御视角:防御方拥有模型训练权限,对开源 LRM 做后训练对齐。
- 对抗输入:恶意提示词与越狱攻击(评测用 PAIR、PAP-M、GCG、TAP)。
- 受害系统:DeepSeek-R1 蒸馏系列(1.5B/7B/14B)、DeepSeek-R1-671B、Qwen3-4B-Thinking。
- 成功判定:安全基准上的防御成功率、推理链安全指标(Think@k)及过度拒答率。
有哪些相关研究?
相关工作分 LRM 推理、SFT 与 RL 两类 LRM 安全对齐、安全税三组;作者称本文不依赖构造的安全 CoT 数据。
大型推理模型(LRM)
- CoT [57] 与 ToT [60]——提示式方法,引出逐步中间推理以提升数学、代码等复杂任务表现。
- DeepSeek-R1 [11] 与 OpenAI O 系列 [19]——通过可验证奖励从基座模型激励推理过程,作者指出这种显式推理过程引入了新的安全风险。
SFT 类 LRM 安全对齐
- SafeChain [22]、RealSafe [65]、R1-ACT [17]、Star-1 [55]——在包含安全 CoT 数据的构造数据集上做监督微调。
RL 类 LRM 安全对齐
- STAIR [66]、RSafe [72]、R2D [75]、CI [64]——构建含安全 CoT 结构的偏好数据集做强化学习对齐。
- 作者认为上述两类方法都根本性地依赖构造的安全 CoT 数据,忽视了 LRM 自身推理能力对安全的作用;本文研究如何利用 LRM 内在推理能力提升安全。
安全税(附录 C.2)
- Safety tax [15] 等——指出安全对齐会损害模型通用能力;作者称 LRM 中显式 CoT 容易被标准安全对齐破坏,推理性能下降,而针对推理架构缓解安全税的工作很少。
基线与基准
- 对比基线:SFT 类 R1-ACT、STAR-1、RealSafe-R1、SafeChain、SafeKey;RL 安全方法 Alpha-Align、TARS;通用 RL 基线 GRPO、PPO、RLOO、DPO(以单一安全信号为奖励)。
- 评测基准:安全用 WildJailbreak、StrongReject、XSTest、BSA;过度拒答用 XSTest、FalseReject、OKTest;通用能力用 AIME24、MATH-500、LiveCodeBench、HumanEval、MMLU。
作者将本文定位为:不依赖构造安全 CoT 数据、而是利用 LRM 内在推理能力、并用可验证奖励做 LRM 安全对齐的方法;附录 C.1 称尚无工作探索可验证奖励用于 LRM 安全对齐(作者口吻)。
论文如何解决这个问题?
三阶段:SFT 安全推理预热、难度感知数据选择、带梯度投影的 GRPO 多奖励联合训练。
整体思路:SAVeR2 用可验证奖励的强化学习激励 LRM 主动识别恶意意图,把安全目标拆成四个细粒度奖励,并用梯度投影解析地消除安全梯度与推理梯度的冲突。流程分三个阶段(Figure 2)。
安全推理预热(SFT Warm-up)
- 用有害提示词让强 LRM 生成两段式响应:安全推理轨迹(评估安全性、论证恶意意图)加最终答案(拒答并给安全替代),构成 SFT 数据集微调基座模型。
- 建立 "Assess → Identify → Justify → Refuse → Redirect" 的固定推理模式,为后续 RL 提供稳定初始化。
难度感知训练数据选择
- 构建安全数据池(JailBreakHub、ALERT、WildGuardMix)和推理数据池(Polaris 数学、Open-R1 代码、WebInstruct 多领域),用与 RL 阶段相同的奖励给每条样本打分。
- 定义样本难度 d = 1 − 平均奖励,丢弃 d < τeasy 的过易样本,再按以目标难度 d⋆ 为中心的高斯权重采样中等难度子集;作者称这对跨模型规模的稳定 RL 是必要的。
四项可验证安全奖励
- 安全推理奖励 Rsr:要求推理过程显式做安全评估;非恶意奖励 Rnm:要求推理与答案整体无恶意内容;一致性奖励 Rc:衡量推理与答案的安全分析一致;有用性奖励 Ru:拒答之外鼓励给出建设性建议。
- 复合奖励 Ro = Rsr + α1 Rnm + α2 Rc + α3 Ru,各分量由 LLM 评审(verifier)打分,默认权重均为 1。
- 为减少评审偏差,用另一个 LLM 针对每条提示词、每个奖励预先生成评分指南(guideline);每条提示采样 Gd 个响应取平均。
推理保持的梯度投影
- 作者将每步安全税展开为一阶项,指出其由安全梯度与推理梯度的内积 ⟨gs, gr⟩ 控制;内积为负时产生 O(ηt) 的推理损失。
- 求解约束优化 ming̃s |g̃s − gs|2 s.t. ⟨ g̃s, gr⟩ ≥ 0,KKT 条件给出闭式解:冲突时把安全梯度投影到与推理梯度不冲突的方向(附录 A.1 推导)。
- 为减少投影对安全梯度的截断,定义每样本冲突分数 ϕ,只保留冲突最小的 Bottom-M 推理样本聚合推理梯度(Algorithm 1,用一次批量 JVP 计算冲突分数)。
- Proposition 1:在局部 L-smooth 假设下,累积一阶安全税非正,全局安全税被学习率平方与梯度范数的二阶项之和显式约束(附录 A.2 证明)。
过度拒答缓解
- 收集良性数据集 Dor(来自 FalseReject),让模型对良性提示走同样的安全推理结构但得出"应回答"的结论。
- 定义三个镜像奖励(良性安全推理、一致性、有用性),组合为 Ror 与安全奖励在同一框架下联合优化。
训练设置:GRPO 为优化器;GPT-4o 作奖励评审;小模型在 8 × H200 上训练至多 160 步,R1-671B 在 1024 × Ascend 910B3 上训练 500 步;最终训练规模 1k/2k/3k/15k 对应 1.5B/7B/14B/671B。
论文做了哪些实验?
在 1.5B–671B 模型上测安全、通用能力与过度拒答,SAVeR2 在多数指标上高于所列基线。
实验设置
- 被测模型:DeepSeek-R1-Distill-Qwen-1.5B/7B/14B、DeepSeek-R1-671B;附录另测 Qwen3-4B-Thinking。
- 基线:SFT 类 R1-ACT、STAR-1、RealSafe-R1、SafeChain、SafeKey;RL 安全方法 Alpha-Align、TARS;通用 RL 基线 GRPO、PPO、RLOO、DPO(单一安全信号作奖励);671B 额外对比 Gemini-2.5-Flash、Claude-4-Sonnet、Qwen3-32B、Qwen3-235B-A22B。
- 基准与规模:StrongReject 313 条(叠加 PAIR、PAP-M 两种越狱)、WildJailbreak 250 条、XSTest 450 条、BSA 2000 条(OS/CS/RO 三场景);过度拒答用 OKTest 350 条、FalseReject 测试子集、XSTest-Safe 250 条;通用能力用 AIME24(30 题)、Math-500(500 题)、LiveCodeBench(166 题)、HumanEval(164 题)、MMLU。
- 评审方式:StrongReject 与 WildJailbreak 用 Llama-Guard 判防御成功;XSTest 用 LLM-judge 分 FC/FR/PR 三类;训练时奖励评审为 GPT-4o(附录对比 Qwen2.5-7B)。
- 指标:BSA 报 Safe@k、Think@k,F-score = (Think@1)^α × (Safe@1)^(1−α);过度拒答用 False Refusal Rate;另定义安全与通用能力平均值的调和平均 H-mean。
- 训练设置:SFT 预热用 100 条 STAR-1 样本;RL 训练 1k/2k/3k/15k 条(1.5B/7B/14B/671B);论文未报告重复次数。
主结果
据 Table 1(安全)与 Table 2(通用),SAVeR2 与主要基线的平均值:
表格较宽,可左右滑动
模型 方法 安全平均 BSA F-score 通用平均 H-mean DS-1.5B SAVeR2 82.66 40.09 47.39 60.24 DS-1.5B GRPO 79.16 36.30 44.21 55.73 DS-7B SAVeR2 92.80 78.01 64.82 76.33 DS-7B PPO 83.50 54.91 62.10 71.23 DS-14B SAVeR2 94.28 81.24 73.84 82.82 DS-14B STAR-1 87.22 64.66 68.70 76.83 - 作者称 SAVeR2 在三个规模的安全平均与 BSA F-score 上均超过所列全部基线;Table 1 中 7B 上 XSTest(90.50)低于 GRPO(87.50 为基线中较高者)一项例外存在但 SAVeR2 仍高于多数基线,14B 上 Safe@1(99.75)低于 GRPO(99.88)。
- 通用能力方面,Table 2 显示 SAVeR2 与 Base 接近:如 DS-7B 通用平均 64.82 对 Base 65.50;作者称安全训练未损害通用能力。
- 671B 上(Table 3):SAVeR2-671B 的 BSA Think@1 为 72.99、F-score 78.40,高于 Gemini-2.5-Flash(56.53)、Claude-4-Sonnet(64.37)、Qwen3-235B-A22B(44.82)与 R1-671B(47.11);MMLU 85.29,略低于 R1-671B 的 86.63。
过度拒答与安全的权衡
- 据 Table 5(DS-7B):SAVeR2 (w/ OR) 的 FRR 平均 22.33,低于 SAVeR2 (w/o OR) 的 47.67 与 STAR-1 的 35.00;SafeChain 的 FRR 最低(2.00)但其安全平均只有 59.32。
- SAVeR2 (w/ OR) 的 H-Mean 为 85.89,高于表中所列全部方法;作者称其实现了安全与低过度拒答之间的更优权衡。
推理过程深层安全
- 用 BSA 的 Think@k 评估深层推理安全;Figure 3(左)中 SAVeR2-7B/14B/671B 的点位于 Safe@k 与 Think@k 均高于 R1、STAR1、SafeKey、RealSafe、SafeChain、R1-ACT 对应规模模型的位置,图注标注 F-score > 60 区域只有 SAVeR2 各点落入。
- 作者称这验证了方法利用 LRM 内在推理过程增强安全推理。
越狱鲁棒性与跨模型泛化(附录)
- 据 Table 9:AdvBench 上 GCG/PAIR/TAP 三种攻击下 SAVeR2 平均 DSR 97.33%,高于 TARS(92.70%)、RealSafe-R1(93.67%)、STAR-1(86.67%);该表未注明所用目标模型规模。
- 据 Table 8:Qwen3-4B-Thinking 上 WildJailbreak 从 84.00 升至 100.00,StrongReject 各项升至 100.00,Math-500 从 95.40 变为 95.00。
- 据 Table 7:以 Qwen2.5-7B 为评审时 DS-7B 安全平均 97.50,以 GPT-4o 为评审时 98.72,均超过评审模型自身的安全得分(72.50 与 88.00);作者称这说明方法不是简单蒸馏评审模型。
其他消融与分析
- 据 Table 4(DS-7B):去掉非恶意奖励后安全平均下降最多(SR 78.17、WJ 66.40);去一致性奖励 LCB 降至 30.13;去混合数据训练 BSA 降至 61.92;去梯度投影 BSA 降至 68.66。
- Figure 3(右):有数据选择时训练奖励曲线收敛,无数据选择(随机采样)时训练过程未收敛(作者称)。
- 据 Table 15(DS-1.5B):有 SFT 预热在 20/60/100 步的训练奖励(0.7480/0.7530/0.8870)均高于无预热(0.4218/0.6328/0.7187)。
- 据 Table 10:加评分指南后 GPT-4o 评审与人类标注的均误差从 0.1581 降至 0.1006,Qwen2.5-7B 从 0.2789 降至 0.2011。
- 据 Table 11:GPT-4o 评审与人类在 Think/Answer/Consistent/Helpful 四维的 Cohen's κ 为 0.80/0.87/0.78/0.84;Table 12:LlamaGuard 与人类在 Base 输出上 κ=0.786,SAVeR2 输出一致率 99.04%(κ 因标签单一未报)。
- 据 Table 13、14:OOD 基准 MoReBench 上 SAVeR2 总分 74.59 高于 RealSafe(61.98)与 STAR-1(69.24);GDPval/ProfBench 上与 Base 接近(49.64/15.65 对 49.79/16.03)。
有什么可以进一步探索的点?
作者仅指出梯度投影的额外计算开销一项局限;实验覆盖五个模型、评审依赖 GPT-4o 与 Llama-Guard。
作者指出的局限与后续方向
- 计算开销(附录 G Limitations):RL 阶段需要计算并投影多个安全相关梯度,相比标准 GRPO 引入额外计算开销;作者称该成本相对整体训练规模不大,并提出未来可探索更高效的投影矩阵近似方法来加速对齐过程。
- 论文正文未设其他专门的局限讨论;附录 H(Social Impacts)提到用户可能产生"虚假的安全感"而减少人工监督、对齐技术理论上可能被滥用于强化偏见,但作者强调框架是增强鲁棒性的工具而非持续监控的替代品。
实验覆盖范围
- 被测模型为 DeepSeek-R1-Distill-Qwen-1.5B/7B/14B、DeepSeek-R1-671B 与 Qwen3-4B-Thinking,共 5 个;主表(Table 1、2)只覆盖前三个蒸馏模型。
- 安全评测基准为 StrongReject、WildJailbreak、XSTest、BSA;越狱攻击覆盖 PAIR、PAP-M(Table 1)与 GCG、PAIR、TAP(Table 9,AdvBench)。
- 训练时奖励评审模型为 GPT-4o,附录 F.2 对比了 Qwen2.5-7B 作评审;输出安全评测用 Llama-Guard,XSTest 用 LLM-judge(论文未写明具体模型)。
- 人工验证覆盖奖励评审与输出评测两处(Table 10–12),论文未报告人工标注的样本量。
- 论文未报告实验重复次数与方差;Table 9 未注明所用目标模型;671B 实验只在 BSA 与 MMLU 上报告结果(Table 3)。
总结一下论文的主要内容
SAVeR2 用四项可验证奖励加梯度投影做 LRM 安全对齐,作者称兼顾安全、低过度拒答与推理能力。
一篇 LRM 安全对齐方法论文。针对大型推理模型显式 CoT 引入的安全风险——中间推理可能泄露有害细节、安全对齐损害推理能力——作者提出 SAVeR2。
- 问题:作者将 LRM 安全目标形式化为显式恶意意图识别、推理与答案均无恶意内容、推理与答案安全一致三项,并指出现有方法存在对抗泛化差、"安全税"、单一粗粒度奖励不真实三个局限。
- 方法:三阶段流程——SFT 预热建立结构化安全推理模式;按难度筛选中等难度训练数据;GRPO 联合优化四项细粒度可验证安全奖励(安全推理、非恶意、一致性、有用性)与通用推理奖励,并用 KKT 闭式解的梯度投影消除安全与推理梯度冲突,另加良性数据奖励缓解过度拒答。
- 主要结果:DS-14B 上安全平均 94.28、BSA F-score 81.24,高于所列基线(Table 1);通用能力与 Base 接近,DS-14B H-mean 82.82(Table 2);DS-7B 上过度拒答 FRR 平均 22.33、H-Mean 85.89(Table 5);SAVeR2-671B 的 BSA Think@1 72.99,高于 Gemini-2.5-Flash、Claude-4-Sonnet 等(Table 3);AdvBench 三种越狱下平均 DSR 97.33%(Table 9)。
- 作者结论:作者称 SAVeR2 在 1.5B 至 671B 的模型规模上实现了安全性能与低过度拒答,且不损害通用推理能力,并认为这验证了方法的可扩展性。
- 局限:作者指出梯度投影相比标准 GRPO 有额外计算开销,未来计划探索更高效的投影矩阵近似。