用低秩 Fisher 正则化在推理训练中保护安全性
Protecting Safety during Reasoning Training with Low-Rank Fisher Regularisation
作者提出 SP-EWC,把 Fisher 投影到 cPCA 识别的安全子空间,在 Llama-3.1-8B-it 推理微调中保持越狱抵抗 92.0%(训练前 92.7%)且不过度拒答。
防御方场景:开发者已做安全对齐的模型(θref)在约 1B token 推理轨迹上做良性 SFT 后越狱抵抗下降。
- 指令模型在推理轨迹上做良性 SFT 后安全护栏退化:作者复现发现高学习率下四个越狱抵抗基准均值从 92.7% 降到 17.3%。现有缓解方法或保护不力,或引入过度拒答,或计算开销大。
- 在 EWC 基础上加一项子空间惩罚:把每层梯度投影到 r 维安全子空间,计算 r×r 的投影 Fisher 以保留安全方向间的交互,并比较 LoRA、ActSVD、cPCA 三种定位子空间的方式。
- 在 Llama-3.1-8B-it 和 OLMo-2-7B-it 上训练数学推理。cPCA 版本效果最好:Llama 上 JR 92.0%(训练前 92.7%)、OA 87.0%;SafeInstr 的 JR 更高(96.9%)但 OA 降到 41.0%。训练时间开销约 +14%。
- 作者指出:评测只覆盖越狱与拒答基准,不含偏见、多语言、长程任务;只研究 SFT,RL 留作未来工作;开销高于 SafeInstr 等更便宜的方法。实验仅覆盖两个 7B–8B 模型。
- 威胁模型
- 防御方场景:开发者已做安全对齐的模型(θref)在约 1B token 推理轨迹上做良性 SFT 后越狱抵抗下降。防御方可访问安全数据集 DSafety(有害提示配安全回答,从 θref 采样)和效用数据集 DUtil,在微调目标中加入正则项;不涉及攻击者操纵训练数据。
- 被测模型
- Llama-3.1-8B-itOLMo-2-7B-itGemma-2-9B-itMinistral-8B-itQwen-2.5-7B-it
- 基准
- open-r1/Mixture-of-Thoughts (OpenR1-Math-220k)MATH-500OlympiadBenchsafety-eval: DoAnythingNow, WildJailbreak, WildGuardTest, TrustLLM (JailbreakTrigger), XSTestWildGuardMix
- 指标
- Jailbreak resistance (JR)Over-refusal avoidance (OA)Pass@k (k=1, n=4)
研究提出 SP-EWC,将梯度投影到安全行为所在的低秩子空间,保护 LLM 在推理训练等微调中的安全护栏。该方法弥补 EWC 对角 Fisher 近似忽略参数交互的不足;安全子空间可用三种方式识别:LoRA、ActSVD 与 cPCA。子空间的选择显著影响性能,SP-EWC 结合 cPCA 较现有方法更能维持安全护栏且不引入过度拒答。
深度解读
这篇论文试图解决什么问题?
解决推理微调破坏安全护栏的问题:作者提出 SP-EWC,在安全子空间内做非对角 EWC 正则。
核心问题:指令模型经良性推理微调后安全护栏退化,如何在学新能力的同时保住越狱抵抗且不过度拒答。
- 问题场景:作者复现了已有发现——在约 1B token 推理轨迹上 SFT 后,模型在四个越狱抵抗基准上的均值从 92.7% 降到 17.3%(高学习率下,降 75.4 个百分点,引言)。
- 现有方法不足:作者称,混入安全数据、梯度修改、安全 LoRA、新正则项、持续学习方法等基线,或无法保护越狱抵抗,或引入过度拒答等新问题,或带来较大计算开销;Alssum et al. (2025) 发现标准 EWC 也不能很好地保住护栏。
- 核心观察:已有研究表明安全相关行为位于模型内的低秩子空间(Arditi et al., 2024; Wei et al., 2024 等)。对角 EWC 只刻画逐参数敏感度、忽略参数间交互,而完整 Fisher 在 LLM 规模上不可行;低秩子空间使非对角近似变得可行。
- 论文提出:SP-EWC(Subspace-Projected EWC),把每层梯度投影到安全子空间、计算 r×r 的投影 Fisher 来惩罚参数漂移;并比较 LoRA、ActSVD、cPCA 三种定位安全子空间的方式。
- 威胁模型:
- 场景:防御方视角,无恶意攻击者;威胁来自良性微调本身导致的护栏退化。
- 防御方知识:可访问参考模型 θref、安全数据集 DSafety(有害提示配安全回答)和效用数据集 DUtil。
- 防御方能力:修改微调目标(加正则项)、在 θref 上预计算统计量。
- 受害系统:经开发者安全对齐的现成指令模型(如 Llama-3.1-8B-it),将被 SFT 训练推理能力。
有哪些相关研究?
相关工作分四组:微调破坏护栏及其缓解、EWC 及其在 LLM 上的应用、Fisher/Hessian 近似;本文用安全低秩性改进 EWC。
微调破坏护栏及缓解方法
- Qi et al. (2024)、Zhan et al. (2024)、Yang et al. (2024)、Casper et al. (2026)——发现良性微调即可移除安全护栏。缓解方向包括降低学习率(Kim et al., 2025; Lin et al., 2026)、混入安全样本(Bianchi et al., 2024; Huang et al., 2024a; Fang et al., 2026)、外推安全关键方向(Perin et al., 2025)。
- 互补发现:拒答由单一方向介导(Arditi et al., 2024)、安全训练主要影响前几个拒答 token(Qi et al., 2025)、权重空间存在"安全盆地"(Peng et al., 2024)、存在冻结也无法保护的稀疏安全关键权重(Wei et al., 2024)。作者称本文正是要利用这种低维性在微调中保护安全。
Elastic Weight Consolidation
- Kirkpatrick et al. (2017) 提出 EWC 后成为持续学习常用基线(Huszár, 2018; Li et al., 2025b),在 LLM 上用于世界模型正则微调(Xiang et al., 2023)、Gemma 2 立陶宛语持续预训练(Šliogeris et al., 2025)、低秩更新的正则(Wei et al., 2025; Zheng et al., 2026)。
- Alssum et al. (2025) 与本文最接近,论文指出他们发现标准 EWC 不能很好地保住安全护栏,作者称本文旨在弥合这一差距。
Fisher 信息矩阵与 Hessian 近似
- 二阶优化中的曲率近似:K-FAC(Martens and Grosse, 2015)、Shampoo(Gupta et al., 2018)及变体;影响函数中的低秩 Hessian 近似(Schioppa et al., 2022)。
- Ritter et al. (2018) 将此类方法与 EWC 结合以刻画参数交互,但论文指出其引入额外计算成本;作者称本文改用安全子空间的低维性来高效刻画安全方向间的交互。
基线与基准:对比方法为 Low-LR SFT(Kim et al., 2025; Lin et al., 2026)、SafeInstr(Bianchi et al., 2024)、SafeGrad(Yi et al., 2026)、DER 的 KL 变体(Buzzega et al., 2020)、EWC(Kirkpatrick et al., 2017)。训练用 open-r1/Mixture-of-Thoughts 子集;评测用 MATH-500、OlympiadBench 和 AllenAI safety-eval 套件(DoAnythingNow、WildJailbreak、WildGuardTest、TrustLLM、XSTest)。
作者将本文定位为:利用安全低秩证据使非对角 EWC 可行,并称(to our knowledge)首次将 contrastive PCA 用作训练干预。
论文如何解决这个问题?
SP-EWC:在对角 EWC 上加一项"安全子空间内投影 Fisher"惩罚,子空间用 cPCA 从安全/效用激活对比中识别。
整体思路:在标准对角 EWC 之上,额外惩罚参数在安全低秩子空间内的漂移,用投影后的 r×r Fisher 刻画安全方向间的交互,方法名为 SP-EWC。
问题设定
- 参考模型 θref(如 Llama-3.1-8B-it)已完成安全训练,在推理数据集 DSFT 上做 SFT,目标是在学新任务时保持安全并尽量少过度拒答。
- 假设可访问安全数据集 DSafety(M 个有害提示配安全回答)和效用数据集 DUtil;实验中 DSafety 通过对 WildGuardMix 训练集安全 split 的提示从 θref 采样补全、经安全评审(Han et al., 2024)判定为安全后得到,DUtil 用同一流程对良性提示构造(附录 B)。
对角 EWC 及其不足
- EWC 目标:LEWC = LSFT + (λD)/2 ∑i Diemp Δi2,即按对角经验 Fisher 加权惩罚参数偏离 θref。
- 作者用模型采样构造 DSafety 以估计真实 Fisher(遵循 van de Ven, 2025 的建议)。
- 作者称,即使把 λ 调得很高,仅靠对角项也不足以维持安全(附录 E 的 λ 扫描),因此增加子空间惩罚。
子空间投影 Fisher
- 把每层梯度 gj 投影到 r 维安全子空间得 g̃j = Pr gj,平均得投影 Fisher:F̃ = 1/M ∑j g̃j g̃j⊤,每层仅 r×r,刻画 r 个输出侧安全方向间的交互。
- 参数变化同样投影得 Δ̃ = Pr Δ,惩罚项 tr(Δ̃ᵀ F̃ Δ̃) 非负且随变化二次增长;SP-EWC 目标为 LEWC 加上各线性层该项之和(以 λLR 缩放)。
- 作者给出的动机:安全行为集中于低维激活子空间(Wei et al., 2024),只建模输出侧方向可避免输入-输出两维交互的开销;正交于安全方向的变化只受标准 EWC 项约束。
三种子空间定位方式
- LoRA:在 θref 上用安全数据训练 rank-r 适配器,对 ΔW = BA 做 SVD,取 top-r 左奇异向量构成 Pr。
- ActSVD(Wei et al., 2024):取安全激活的 top-r 方向构成 Ps,再投影掉效用方向 Pu(Ŵ = (I − Pu)Ps W)后取奇异向量。
- cPCA(Abid et al., 2018):找在安全激活上方差大、在效用激活上方差小的方向,即最大化 vᵀ(Cs − αCu)v,取 Cs − αCu 的 top-r 特征向量;α 控制对效用方差的压制强度。作者称 cPCA 不像 ActSVD 那样整体移除效用子空间,可避免丢弃与效用共享的安全信息。
实现与评测方式
- 关键参数(附录 B):r = 8、α = 100;cPCA 用 DSafety、DUtil 各 10,000 样本缓存线性层输入,仅取补全前 20 个 token;Fisher 以 batch size 1 逐样本计算;排除嵌入、归一化层和 LM head。
- 成功判定:越狱抵抗(JR)为四个基准上安全回答比例的均值,过度拒答避免(OA)为两个基准上正确遵从比例的均值,均用 AllenAI safety-eval 默认设置;推理用 Pass@k(k=1, n=4),温度 0.6、top_p 0.95、max_tokens 4096。
论文做了哪些实验?
在 Llama-3.1-8B-it 和 OLMo-2-7B-it 上训练数学推理:SP-EWC-cPCA 保住 JR 且不过度拒答,开销约 +14%。
实验设置
- 被测模型:Llama-3.1-8B-it 与 OLMo-2-7B-it;选择依据是训练前护栏较强(Table 4:两者 JR 分别为 92.7%、87.8%,而 Gemma-2-9B-it 57.8%、Ministral-8B-it 29.7%、Qwen-2.5-7B-it 47.9%)。
- 训练数据:open-r1/Mixture-of-Thoughts 的数学子集 OpenR1-Math-220k,过滤超 4,096 token 后剩 126k 样本(附录 B)。
- 基线:Low-LR SFT、SafeInstr、SafeGrad、DER(KL 变体)、EWC。
- 指标:JR = DoAnythingNow、WildJailbreak (harmful)、WildGuardTest (adversarial)、TrustLLM (JailbreakTrigger) 上安全回答比例的均值;OA = XSTest 与 WildJailbreak (benign) 上正确遵从比例的均值;推理为 MATH-500、OlympiadBench 的 Pass@k(k=1, n=4)。
- 评测方式:AllenAI safety-eval 默认设置;安全数据构造时用安全评审(Han et al., 2024)判定补全是否安全;论文未说明 safety-eval 内部各基准的判定模型。
- 学习率:扫描后(Table 5)选用低学习率作为更强基线;论文未在正文写明主实验具体取值。
主结果
据 Table 2(%,越高越好;M-500 = MATH-500,Olymp = OlympiadBench):
表格较宽,可左右滑动
方法 M-500 Olymp JR 均值 OA 均值 Llama 训练前 44.9 16.1 92.7 88.2 Low-LR SFT 55.6 23.2 47.2 100.0 SafeInstr 52.6 23.0 96.9 41.0 SafeGrad 54.8 21.8 69.9 94.8 DER 53.8 21.1 76.1 94.0 EWC 51.8 20.8 77.3 96.4 SP-EWC-cPCA 51.0 19.8 92.0 87.0 OLMo 训练前 35.5 12.8 87.8 95.2 Low-LR SFT 47.5 20.5 76.6 92.0 SafeInstr 44.5 21.3 96.7 82.8 SafeGrad 33.1 11.7 89.4 95.2 DER 36.4 12.2 90.8 93.6 EWC 39.5 14.1 88.0 93.6 SP-EWC-cPCA 43.1 16.7 87.0 92.4 - 作者称 SafeInstr 的 JR 最高、甚至超过训练前,但引入大量过度拒答(Llama 上 OA 41.0%),复现了 Bianchi et al. (2024) 的发现。
- 作者称 SafeGrad 与 DER 在 Llama 上保住了大部分数学收益但未能维持 JR;在 OLMo 上 JR 维持较好,但 SafeGrad 的数学两项都更差、DER 似乎停滞。
- 作者称 SP-EWC-cPCA 在三目标间取得更好平衡;代价是 Llama 上 MATH-500 与 OlympiadBench 的提升小于调好的基线。
子空间定位方式对比
- Figure 5 给出各方法相对训练前的百分点变化:Llama 上 LoRA 的 JR 各基准下降 19–71 个点、ActSVD 下降 22–72 个点,而 cPCA 变化在 −3 到 +6 之间;OLMo 上 LoRA 各项 −1 到 −5,ActSVD 与 cPCA 接近(cPCA 的 MATH-500 变化 +8、ActSVD +5)。
- 作者认为 LoRA 可能捕捉到适应新安全数据的方向而非既有护栏方向;认为 ActSVD 在 Llama 上表现差可能与 OLMo 护栏更稳健、及其安全/效用秩两个超参的复杂交互有关(作者用"speculate"表述)。
- Figure 4 对 Llama 第 16 层 MLP down projection 的激活做 cPCA 投影(2,000 安全 + 2,000 效用样本):α = 0 时两类投影重叠,α 增大后安全方向方差相对效用增大(标注的 var ratio safe/util 从 10.7、6.1 升至 α = 100 时的 247.0、188.8);作者称这与 cPCA 找到更具安全特异性的方向一致,并提醒二维投影应谨慎解读。
对角项与子空间项消融
- Table 1(SP-EWC-cPCA 拆解):Llama 上"仅对角"JR 77.3%、"仅子空间"89.9%、"对角+子空间"92.0%;OLMo 上三者 JR 为 88.0%、84.7%、87.0%,但"仅子空间"的 MATH-500 为 46.4%(高于完整版的 43.1%)。
- 作者称趋势因模型而异:组合两项对 Llama 维持 JR 关键,对 OLMo 则有助于恢复更多域内收益。
其他消融与分析
- EWC λ 扫描(Figure 6,Llama):λ 增大可更好维持 JR,但 λ 很大时域内收益持续缩小且 JR 再次下降(λ = 5000 时 JR 69.2%)。
- DER 安全数据量扫描(Figure 7,Llama):安全批次分布足够大很关键,数据少时保护明显减弱(n=10 时 JR 52.6%,n=31k 时 70.9%)。
- 学习率扫描(Table 5):Llama 上 1×10⁻⁵ 时 JR 17.3%、1×10⁻⁶ 时 47.2%;OLMo 上 5×10⁻⁵ 时 JR 18.9%。
- SafeInstr 安全数据比例扫描(Table 6):1%–5% 混入均把 JR 维持在 94.6%–98.7%,但 OA 降到 34.2%–46.2%(Llama)和 80.4%–85.8%(OLMo)。
- 计算开销(Table 3,OLMo,4xH200):SFT 12.5h;EWC +15%、SP-EWC (cPCA) +14%、SafeGrad +69%、DER +93%。
有什么可以进一步探索的点?
作者列出评测范围、仅限 SFT、开销高于廉价方法等局限;实验覆盖两个 7B–8B 模型与数学推理训练。
作者指出的局限与后续方向
- 评测仅以越狱与拒答基准操作化"安全",范围不覆盖偏见、多语言行为或长程任务等其他安全面向(Limitations 节)。
- 只研究经 SFT 的推理训练;在 RL 期间的影响留作未来工作(Limitations 节)。
- 相对标准 EWC 的开销可忽略,但 SP-EWC 仍比 SafeInstr 等更便宜的方法成本高(Limitations 节)。
- 方法聚焦拒答而非更广义的"安全":安全/不安全的分类取决于模型开发者撰写的政策,且低 ASR 不代表重复采样下不产出有害回答(Discussion 节)。
- 未来方向:把 SP-EWC 推广到安全之外、同样位于低维子空间的能力保护(Discussion 节)。
实验覆盖范围
- 被测模型为 Llama-3.1-8B-it 与 OLMo-2-7B-it 两个;作者说明因算力限制只考虑 10B 参数以内的模型(附录 F)。
- 训练任务仅为数学推理 SFT(OpenR1-Math-220k 过滤后 126k 样本,附录 B)。
- 安全评测为 safety-eval 的四个 JR 基准与两个 OA 基准;推理评测为 MATH-500 与 OlympiadBench。
- 子空间维度固定 r = 8、cPCA 的 α = 100(附录 B);论文未报告对 r 的扫描实验。
- 论文未报告主实验的随机种子数与重复次数(仅推理评测用 n=4 采样降低方差),也未报告评测判定与人工判断的一致性。
总结一下论文的主要内容
SP-EWC 在安全子空间内做非对角 EWC,用 cPCA 定位子空间,在两个模型上保住越狱抵抗且避免过度拒答。
一篇防御向论文:解决指令模型经良性推理 SFT 后安全护栏退化的问题,作者复现高学习率下四个越狱抵抗基准均值从 92.7% 降到 17.3%。
- 方法:在 EWC 的对角 Fisher 惩罚外,把每层梯度投影到 r 维安全子空间、计算 r×r 投影 Fisher,惩罚参数在安全方向上的漂移(SP-EWC);比较 LoRA、ActSVD、cPCA 三种定位子空间的方式,关键参数 r = 8、α = 100。
- 主结果(Table 2):Llama-3.1-8B-it 上 SP-EWC-cPCA 的 JR 92.0%(训练前 92.7%)、OA 87.0%;Low-LR SFT 的 JR 仅 47.2%,EWC 为 77.3%。
- 对比:SafeInstr 的 JR 更高(Llama 96.9%、OLMo 96.7%)但 OA 降到 41.0%(Llama),作者称其过度优化越狱抵抗、引入过度拒答。
- 子空间选择(Figure 5):cPCA 在两个模型上最稳;LoRA 在 Llama 上使 JR 各基准降 19–71 个百分点,ActSVD 在 Llama 上也造成 JR 下降。
- 开销(Table 3,OLMo):SP-EWC (cPCA) 训练时间较 SFT 增加 14%,SafeGrad 为 +69%、DER 为 +93%。
- 作者结论:利用安全的低秩性可使非对角 EWC 可行,在越狱抵抗、过度拒答与推理收益间取得更好平衡;作者同时强调评测只覆盖拒答层面,安全不限于保住现有护栏,RL 场景与更广能力保护留作未来工作。