跳到正文
原文

用低秩 Fisher 正则化在推理训练中保护安全性

Protecting Safety during Reasoning Training with Low-Rank Fisher Regularisation

arXiv:其他 AI 安全论文· arXiv:2611.20288· Neel Rajani, Ivan TitovILCC, University of Edinburgh; ILLC, University of Amsterdam本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 SP-EWC,把 Fisher 投影到 cPCA 识别的安全子空间,在 Llama-3.1-8B-it 推理微调中保持越狱抵抗 92.0%(训练前 92.7%)且不过度拒答。

威胁模型防御方场景:开发者已做安全对齐的模型(θref)在约 1B token 推理轨迹上做良性 SFT 后越狱抵抗下降。

问题
指令模型在推理轨迹上做良性 SFT 后安全护栏退化:作者复现发现高学习率下四个越狱抵抗基准均值从 92.7% 降到 17.3%。现有缓解方法或保护不力,或引入过度拒答,或计算开销大。
方法
在 EWC 基础上加一项子空间惩罚:把每层梯度投影到 r 维安全子空间,计算 r×r 的投影 Fisher 以保留安全方向间的交互,并比较 LoRA、ActSVD、cPCA 三种定位子空间的方式。
实验与结果
在 Llama-3.1-8B-it 和 OLMo-2-7B-it 上训练数学推理。cPCA 版本效果最好:Llama 上 JR 92.0%(训练前 92.7%)、OA 87.0%;SafeInstr 的 JR 更高(96.9%)但 OA 降到 41.0%。训练时间开销约 +14%。
局限与可以继续做的
作者指出:评测只覆盖越狱与拒答基准,不含偏见、多语言、长程任务;只研究 SFT,RL 留作未来工作;开销高于 SafeInstr 等更便宜的方法。实验仅覆盖两个 7B–8B 模型。
实验设置Llama-3.1-8B-it、OLMo-2-7B-it 等 · open-r1/Mixture-of-Thoughts (OpenR1-Math-220k)、MATH-500 等 · Jailbreak resistance (JR)、Over-refusal avoidance (OA) 等
威胁模型
防御方场景:开发者已做安全对齐的模型(θref)在约 1B token 推理轨迹上做良性 SFT 后越狱抵抗下降。防御方可访问安全数据集 DSafety(有害提示配安全回答,从 θref 采样)和效用数据集 DUtil,在微调目标中加入正则项;不涉及攻击者操纵训练数据。
被测模型
Llama-3.1-8B-itOLMo-2-7B-itGemma-2-9B-itMinistral-8B-itQwen-2.5-7B-it
基准
open-r1/Mixture-of-Thoughts (OpenR1-Math-220k)MATH-500OlympiadBenchsafety-eval: DoAnythingNow, WildJailbreak, WildGuardTest, TrustLLM (JailbreakTrigger), XSTestWildGuardMix
指标
Jailbreak resistance (JR)Over-refusal avoidance (OA)Pass@k (k=1, n=4)
AI 导读研究提出 SP-EWC,将梯度投影到安全行为所在的低秩子空间,保护 LLM 在推理训练等微调中的安全护栏。该方法弥补 EWC 对角 Fisher 近似忽略参数交互的不足;安全子空间可用三种方式识别:LoRA、ActSVD 与 cPCA。子空间的选择显著影响性能,SP-EWC 结合 cPCA 较现有方法更能维持安全护栏且不引入过度拒答。

研究提出 SP-EWC,将梯度投影到安全行为所在的低秩子空间,保护 LLM 在推理训练等微调中的安全护栏。该方法弥补 EWC 对角 Fisher 近似忽略参数交互的不足;安全子空间可用三种方式识别:LoRA、ActSVD 与 cPCA。子空间的选择显著影响性能,SP-EWC 结合 cPCA 较现有方法更能维持安全护栏且不引入过度拒答。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决推理微调破坏安全护栏的问题:作者提出 SP-EWC,在安全子空间内做非对角 EWC 正则。

    核心问题:指令模型经良性推理微调后安全护栏退化,如何在学新能力的同时保住越狱抵抗且不过度拒答。

    • 问题场景:作者复现了已有发现——在约 1B token 推理轨迹上 SFT 后,模型在四个越狱抵抗基准上的均值从 92.7% 降到 17.3%(高学习率下,降 75.4 个百分点,引言)。
    • 现有方法不足:作者称,混入安全数据、梯度修改、安全 LoRA、新正则项、持续学习方法等基线,或无法保护越狱抵抗,或引入过度拒答等新问题,或带来较大计算开销;Alssum et al. (2025) 发现标准 EWC 也不能很好地保住护栏。
    • 核心观察:已有研究表明安全相关行为位于模型内的低秩子空间(Arditi et al., 2024; Wei et al., 2024 等)。对角 EWC 只刻画逐参数敏感度、忽略参数间交互,而完整 Fisher 在 LLM 规模上不可行;低秩子空间使非对角近似变得可行。
    • 论文提出:SP-EWC(Subspace-Projected EWC),把每层梯度投影到安全子空间、计算 r×r 的投影 Fisher 来惩罚参数漂移;并比较 LoRA、ActSVD、cPCA 三种定位安全子空间的方式。
    • 威胁模型:
      • 场景:防御方视角,无恶意攻击者;威胁来自良性微调本身导致的护栏退化。
      • 防御方知识:可访问参考模型 θref、安全数据集 DSafety(有害提示配安全回答)和效用数据集 DUtil。
      • 防御方能力:修改微调目标(加正则项)、在 θref 上预计算统计量。
      • 受害系统:经开发者安全对齐的现成指令模型(如 Llama-3.1-8B-it),将被 SFT 训练推理能力。
  2. 有哪些相关研究?

    相关工作分四组:微调破坏护栏及其缓解、EWC 及其在 LLM 上的应用、Fisher/Hessian 近似;本文用安全低秩性改进 EWC。

    微调破坏护栏及缓解方法

    • Qi et al. (2024)、Zhan et al. (2024)、Yang et al. (2024)、Casper et al. (2026)——发现良性微调即可移除安全护栏。缓解方向包括降低学习率(Kim et al., 2025; Lin et al., 2026)、混入安全样本(Bianchi et al., 2024; Huang et al., 2024a; Fang et al., 2026)、外推安全关键方向(Perin et al., 2025)。
    • 互补发现:拒答由单一方向介导(Arditi et al., 2024)、安全训练主要影响前几个拒答 token(Qi et al., 2025)、权重空间存在"安全盆地"(Peng et al., 2024)、存在冻结也无法保护的稀疏安全关键权重(Wei et al., 2024)。作者称本文正是要利用这种低维性在微调中保护安全。

    Elastic Weight Consolidation

    • Kirkpatrick et al. (2017) 提出 EWC 后成为持续学习常用基线(Huszár, 2018; Li et al., 2025b),在 LLM 上用于世界模型正则微调(Xiang et al., 2023)、Gemma 2 立陶宛语持续预训练(Šliogeris et al., 2025)、低秩更新的正则(Wei et al., 2025; Zheng et al., 2026)。
    • Alssum et al. (2025) 与本文最接近,论文指出他们发现标准 EWC 不能很好地保住安全护栏,作者称本文旨在弥合这一差距。

    Fisher 信息矩阵与 Hessian 近似

    • 二阶优化中的曲率近似:K-FAC(Martens and Grosse, 2015)、Shampoo(Gupta et al., 2018)及变体;影响函数中的低秩 Hessian 近似(Schioppa et al., 2022)。
    • Ritter et al. (2018) 将此类方法与 EWC 结合以刻画参数交互,但论文指出其引入额外计算成本;作者称本文改用安全子空间的低维性来高效刻画安全方向间的交互。

    基线与基准:对比方法为 Low-LR SFT(Kim et al., 2025; Lin et al., 2026)、SafeInstr(Bianchi et al., 2024)、SafeGrad(Yi et al., 2026)、DER 的 KL 变体(Buzzega et al., 2020)、EWC(Kirkpatrick et al., 2017)。训练用 open-r1/Mixture-of-Thoughts 子集;评测用 MATH-500、OlympiadBench 和 AllenAI safety-eval 套件(DoAnythingNow、WildJailbreak、WildGuardTest、TrustLLM、XSTest)。

    作者将本文定位为:利用安全低秩证据使非对角 EWC 可行,并称(to our knowledge)首次将 contrastive PCA 用作训练干预。

  3. 论文如何解决这个问题?

    SP-EWC:在对角 EWC 上加一项"安全子空间内投影 Fisher"惩罚,子空间用 cPCA 从安全/效用激活对比中识别。

    整体思路:在标准对角 EWC 之上,额外惩罚参数在安全低秩子空间内的漂移,用投影后的 r×r Fisher 刻画安全方向间的交互,方法名为 SP-EWC。

    问题设定

    • 参考模型 θref(如 Llama-3.1-8B-it)已完成安全训练,在推理数据集 DSFT 上做 SFT,目标是在学新任务时保持安全并尽量少过度拒答。
    • 假设可访问安全数据集 DSafety(M 个有害提示配安全回答)和效用数据集 DUtil;实验中 DSafety 通过对 WildGuardMix 训练集安全 split 的提示从 θref 采样补全、经安全评审(Han et al., 2024)判定为安全后得到,DUtil 用同一流程对良性提示构造(附录 B)。

    对角 EWC 及其不足

    • EWC 目标:LEWC = LSFT + (λD)/2 ∑i Diemp Δi2,即按对角经验 Fisher 加权惩罚参数偏离 θref。
    • 作者用模型采样构造 DSafety 以估计真实 Fisher(遵循 van de Ven, 2025 的建议)。
    • 作者称,即使把 λ 调得很高,仅靠对角项也不足以维持安全(附录 E 的 λ 扫描),因此增加子空间惩罚。

    子空间投影 Fisher

    • 把每层梯度 gj 投影到 r 维安全子空间得 g̃j = Pr gj,平均得投影 Fisher:F̃ = 1/M ∑j g̃j g̃j⊤,每层仅 r×r,刻画 r 个输出侧安全方向间的交互。
    • 参数变化同样投影得 Δ̃ = Pr Δ,惩罚项 tr(Δ̃ᵀ F̃ Δ̃) 非负且随变化二次增长;SP-EWC 目标为 LEWC 加上各线性层该项之和(以 λLR 缩放)。
    • 作者给出的动机:安全行为集中于低维激活子空间(Wei et al., 2024),只建模输出侧方向可避免输入-输出两维交互的开销;正交于安全方向的变化只受标准 EWC 项约束。

    三种子空间定位方式

    • LoRA:在 θref 上用安全数据训练 rank-r 适配器,对 ΔW = BA 做 SVD,取 top-r 左奇异向量构成 Pr。
    • ActSVD(Wei et al., 2024):取安全激活的 top-r 方向构成 Ps,再投影掉效用方向 Pu(Ŵ = (I − Pu)Ps W)后取奇异向量。
    • cPCA(Abid et al., 2018):找在安全激活上方差大、在效用激活上方差小的方向,即最大化 vᵀ(Cs − αCu)v,取 Cs − αCu 的 top-r 特征向量;α 控制对效用方差的压制强度。作者称 cPCA 不像 ActSVD 那样整体移除效用子空间,可避免丢弃与效用共享的安全信息。

    实现与评测方式

    • 关键参数(附录 B):r = 8、α = 100;cPCA 用 DSafety、DUtil 各 10,000 样本缓存线性层输入,仅取补全前 20 个 token;Fisher 以 batch size 1 逐样本计算;排除嵌入、归一化层和 LM head。
    • 成功判定:越狱抵抗(JR)为四个基准上安全回答比例的均值,过度拒答避免(OA)为两个基准上正确遵从比例的均值,均用 AllenAI safety-eval 默认设置;推理用 Pass@k(k=1, n=4),温度 0.6、top_p 0.95、max_tokens 4096。
  4. 论文做了哪些实验?

    在 Llama-3.1-8B-it 和 OLMo-2-7B-it 上训练数学推理:SP-EWC-cPCA 保住 JR 且不过度拒答,开销约 +14%。

    实验设置

    • 被测模型:Llama-3.1-8B-it 与 OLMo-2-7B-it;选择依据是训练前护栏较强(Table 4:两者 JR 分别为 92.7%、87.8%,而 Gemma-2-9B-it 57.8%、Ministral-8B-it 29.7%、Qwen-2.5-7B-it 47.9%)。
    • 训练数据:open-r1/Mixture-of-Thoughts 的数学子集 OpenR1-Math-220k,过滤超 4,096 token 后剩 126k 样本(附录 B)。
    • 基线:Low-LR SFT、SafeInstr、SafeGrad、DER(KL 变体)、EWC。
    • 指标:JR = DoAnythingNow、WildJailbreak (harmful)、WildGuardTest (adversarial)、TrustLLM (JailbreakTrigger) 上安全回答比例的均值;OA = XSTest 与 WildJailbreak (benign) 上正确遵从比例的均值;推理为 MATH-500、OlympiadBench 的 Pass@k(k=1, n=4)。
    • 评测方式:AllenAI safety-eval 默认设置;安全数据构造时用安全评审(Han et al., 2024)判定补全是否安全;论文未说明 safety-eval 内部各基准的判定模型。
    • 学习率:扫描后(Table 5)选用低学习率作为更强基线;论文未在正文写明主实验具体取值。

    主结果

    据 Table 2(%,越高越好;M-500 = MATH-500,Olymp = OlympiadBench):

    表格较宽,可左右滑动

    方法M-500OlympJR 均值OA 均值
    Llama 训练前44.916.192.788.2
    Low-LR SFT55.623.247.2100.0
    SafeInstr52.623.096.941.0
    SafeGrad54.821.869.994.8
    DER53.821.176.194.0
    EWC51.820.877.396.4
    SP-EWC-cPCA51.019.892.087.0
    OLMo 训练前35.512.887.895.2
    Low-LR SFT47.520.576.692.0
    SafeInstr44.521.396.782.8
    SafeGrad33.111.789.495.2
    DER36.412.290.893.6
    EWC39.514.188.093.6
    SP-EWC-cPCA43.116.787.092.4
    • 作者称 SafeInstr 的 JR 最高、甚至超过训练前,但引入大量过度拒答(Llama 上 OA 41.0%),复现了 Bianchi et al. (2024) 的发现。
    • 作者称 SafeGrad 与 DER 在 Llama 上保住了大部分数学收益但未能维持 JR;在 OLMo 上 JR 维持较好,但 SafeGrad 的数学两项都更差、DER 似乎停滞。
    • 作者称 SP-EWC-cPCA 在三目标间取得更好平衡;代价是 Llama 上 MATH-500 与 OlympiadBench 的提升小于调好的基线。

    子空间定位方式对比

    • Figure 5 给出各方法相对训练前的百分点变化:Llama 上 LoRA 的 JR 各基准下降 19–71 个点、ActSVD 下降 22–72 个点,而 cPCA 变化在 −3 到 +6 之间;OLMo 上 LoRA 各项 −1 到 −5,ActSVD 与 cPCA 接近(cPCA 的 MATH-500 变化 +8、ActSVD +5)。
    • 作者认为 LoRA 可能捕捉到适应新安全数据的方向而非既有护栏方向;认为 ActSVD 在 Llama 上表现差可能与 OLMo 护栏更稳健、及其安全/效用秩两个超参的复杂交互有关(作者用"speculate"表述)。
    • Figure 4 对 Llama 第 16 层 MLP down projection 的激活做 cPCA 投影(2,000 安全 + 2,000 效用样本):α = 0 时两类投影重叠,α 增大后安全方向方差相对效用增大(标注的 var ratio safe/util 从 10.7、6.1 升至 α = 100 时的 247.0、188.8);作者称这与 cPCA 找到更具安全特异性的方向一致,并提醒二维投影应谨慎解读。

    对角项与子空间项消融

    • Table 1(SP-EWC-cPCA 拆解):Llama 上"仅对角"JR 77.3%、"仅子空间"89.9%、"对角+子空间"92.0%;OLMo 上三者 JR 为 88.0%、84.7%、87.0%,但"仅子空间"的 MATH-500 为 46.4%(高于完整版的 43.1%)。
    • 作者称趋势因模型而异:组合两项对 Llama 维持 JR 关键,对 OLMo 则有助于恢复更多域内收益。

    其他消融与分析

    • EWC λ 扫描(Figure 6,Llama):λ 增大可更好维持 JR,但 λ 很大时域内收益持续缩小且 JR 再次下降(λ = 5000 时 JR 69.2%)。
    • DER 安全数据量扫描(Figure 7,Llama):安全批次分布足够大很关键,数据少时保护明显减弱(n=10 时 JR 52.6%,n=31k 时 70.9%)。
    • 学习率扫描(Table 5):Llama 上 1×10⁻⁵ 时 JR 17.3%、1×10⁻⁶ 时 47.2%;OLMo 上 5×10⁻⁵ 时 JR 18.9%。
    • SafeInstr 安全数据比例扫描(Table 6):1%–5% 混入均把 JR 维持在 94.6%–98.7%,但 OA 降到 34.2%–46.2%(Llama)和 80.4%–85.8%(OLMo)。
    • 计算开销(Table 3,OLMo,4xH200):SFT 12.5h;EWC +15%、SP-EWC (cPCA) +14%、SafeGrad +69%、DER +93%。
  5. 有什么可以进一步探索的点?

    作者列出评测范围、仅限 SFT、开销高于廉价方法等局限;实验覆盖两个 7B–8B 模型与数学推理训练。

    作者指出的局限与后续方向

    • 评测仅以越狱与拒答基准操作化"安全",范围不覆盖偏见、多语言行为或长程任务等其他安全面向(Limitations 节)。
    • 只研究经 SFT 的推理训练;在 RL 期间的影响留作未来工作(Limitations 节)。
    • 相对标准 EWC 的开销可忽略,但 SP-EWC 仍比 SafeInstr 等更便宜的方法成本高(Limitations 节)。
    • 方法聚焦拒答而非更广义的"安全":安全/不安全的分类取决于模型开发者撰写的政策,且低 ASR 不代表重复采样下不产出有害回答(Discussion 节)。
    • 未来方向:把 SP-EWC 推广到安全之外、同样位于低维子空间的能力保护(Discussion 节)。

    实验覆盖范围

    • 被测模型为 Llama-3.1-8B-it 与 OLMo-2-7B-it 两个;作者说明因算力限制只考虑 10B 参数以内的模型(附录 F)。
    • 训练任务仅为数学推理 SFT(OpenR1-Math-220k 过滤后 126k 样本,附录 B)。
    • 安全评测为 safety-eval 的四个 JR 基准与两个 OA 基准;推理评测为 MATH-500 与 OlympiadBench。
    • 子空间维度固定 r = 8、cPCA 的 α = 100(附录 B);论文未报告对 r 的扫描实验。
    • 论文未报告主实验的随机种子数与重复次数(仅推理评测用 n=4 采样降低方差),也未报告评测判定与人工判断的一致性。
  6. 总结一下论文的主要内容

    SP-EWC 在安全子空间内做非对角 EWC,用 cPCA 定位子空间,在两个模型上保住越狱抵抗且避免过度拒答。

    一篇防御向论文:解决指令模型经良性推理 SFT 后安全护栏退化的问题,作者复现高学习率下四个越狱抵抗基准均值从 92.7% 降到 17.3%。

    • 方法:在 EWC 的对角 Fisher 惩罚外,把每层梯度投影到 r 维安全子空间、计算 r×r 投影 Fisher,惩罚参数在安全方向上的漂移(SP-EWC);比较 LoRA、ActSVD、cPCA 三种定位子空间的方式,关键参数 r = 8、α = 100。
    • 主结果(Table 2):Llama-3.1-8B-it 上 SP-EWC-cPCA 的 JR 92.0%(训练前 92.7%)、OA 87.0%;Low-LR SFT 的 JR 仅 47.2%,EWC 为 77.3%。
    • 对比:SafeInstr 的 JR 更高(Llama 96.9%、OLMo 96.7%)但 OA 降到 41.0%(Llama),作者称其过度优化越狱抵抗、引入过度拒答。
    • 子空间选择(Figure 5):cPCA 在两个模型上最稳;LoRA 在 Llama 上使 JR 各基准降 19–71 个百分点,ActSVD 在 Llama 上也造成 JR 下降。
    • 开销(Table 3,OLMo):SP-EWC (cPCA) 训练时间较 SFT 增加 14%,SafeGrad 为 +69%、DER 为 +93%。
    • 作者结论:利用安全的低秩性可使非对角 EWC 可行,在越狱抵抗、过度拒答与推理收益间取得更好平衡;作者同时强调评测只覆盖拒答层面,安全不限于保住现有护栏,RL 场景与更广能力保护留作未来工作。

相关论文

共同使用 OlympiadBench
阅读原文arxiv.org