研究提出 SafeReAct：恢复后训练大模型被掩盖的安全机制

后训练掩盖原有安全机制，使模型更常回答有害提示，而不是删掉安全机制。

• 场景：作者称LLM经后训练可增强特定能力，如DeepSeek-R1系列在长CoT上训练后推理更强，但相对后训练前更常出现有害行为；能力增强后，不安全回复的伦理风险也更大。
• 现有方法：作者称用SafeChain（逾50,000条有害样本配推理式安全回复）重对齐需要大量资源，并会损害原有能力。
• 观察与假设：加安全后缀或改输入模板后，LRM对有害提示更安全，作者据此认为安全机制未被完全删除。剪掉推理相关神经元后安全行为回升。作者假设后训练过度激活领域机制，从而掩盖原安全机制。
• 本文提出：SafeReAct。在少数层用LoRA把有害提示上的表示对齐到剪枝得到的隐藏安全表示，并约束领域表示。主实验为四个LRM，并延伸到医学与金融模型。
• 威胁模型：
  • 目标：在有害提示上重新触发拒绝，而不是展开后训练能力并给出有害内容。
  • 受害系统：后训练LLM。论文以LRM为主，并包括生物医学与金融模型。
  • 介入：PAT、ICD、Self-Remind在black-box下只改输入。SafeReAct训练LoRA、对齐内部表示，需要改参数；论文未称该防御为white-box。
  • 判定：有害率由Llama-3-Guard给出；效用用GSM8K、MATH-500或MedQA。论文未形式化攻击者可控的输入范围。

论文第2节分安全对齐与表示工程；引言另点名后训练带来的安全下降。

安全对齐与越狱防御

• 对齐：RLHF、直接偏好优化（Rafailov et al. [17]）、安全解码（Xu et al. [18]）用于让回复符合人类价值、减少有害生成。
• 越狱与防御：论文列举优化类越狱、多语言或加密输入，以及提示模板、特征编辑、上下文纠正和对抗训练。此处只作列举，未逐篇与本文比效用。
• 微调破坏对齐：Qi et al. [35]等指出微调或后训练会削弱已有安全对齐；Zhou et al. [12]评估R1的安全风险。

后训练之后补安全

• SafeChain（Jiang et al. [11]）：用逾50,000条有害样本及推理式安全回复再训练LRM。引言称该训练耗资源，并通常损害原有能力。
• SaLoRA [37]：在后训练时加入安全模块以保留安全。论文未在此与SafeReAct做直接对照。
• Safe LoRA [38]与Safety Lock [39]：若微调自已对齐LLM，可用原对齐基座恢复安全。论文指出，若并非在对齐LLM上训练（如R1-distilled），这些方法不能很好工作。

表示工程

• 若干工作用内部表示解释风格或领域能力，或在推理时改表示以加强对齐、抑制不想要的行为，其中包括RepE [29]。
• Circuit-breaker [28]：在预构建的安全回复与有害回复数据上，把对齐模型的内部表示推离原表示，从而打乱有害提示上的生成。论文称其效果依赖预构建数据集。
• 与本文：作者要恢复的是弱对齐或未对齐模型。先剪掉高度激活的领域能力以找出隐藏安全特征，再把表示拉近这些特征，而不是拉向预先写好的目标回复。作者称因此跨模型更有效。

基线与基准

• 基线：Circuit-Breaker与SafeChain。机制分析另用PAT [34]、ICD [31]、Self-Remind [27]。作者在第3节称后三种不能完全恢复安全，且有safety–reasoning trade-off。
• 数据：评测用JailbreakBench、AdvBench、XsTest、GSM8K、MATH-500、MedQA；对齐用HarmBench，保留用LIMO或UltraMedical。

作者把本文放在后训练已经发生、且不能依赖原对齐基座的设定下：先在模型内部找到被掩盖的安全表示，再用少量LoRA对齐。

作者提出SafeReAct：先剪枝得到会走安全行为的内部表示，再只训练少数层的LoRA，把原模型在有害提示上的表示拉向该表示，并用保留损失维持后训练能力。

安全机制是否还在

• 黑盒探测：在black-box下使用PAT、ICD、Self-Remind，只改输入、不访问参数（Section 3.1，Table 1）。
• 作者假设：有害率下降说明安全机制未被移除；同时推理成绩下降，作者称为safety–reasoning trade-off，并进一步假设安全机制被推理机制掩盖。
• 论文未给出这三种方法的具体提示模板。

剪枝定位被掩盖的安全表示

• 重要性：Wanda分数为权重绝对值与输入token行ℓ2范数之积（式1）。
• 集合差：在目标域取top-q神经元，在保留域取top-p，差集视为目标域特有神经元（式2）。分析里目标域为S1K，保留集由AdvBench的安全对齐数据构建，p=0.3，q=0.4；随机剪20%作对照。
• 作者解释：剪掉推理相关神经元后安全行为恢复，故下降来自推理机制过度激活，而不是安全机制被移除。该剪枝模型记为M_safe。训练时p、q按M_safe在JailbreakBench上的安全结果选取，论文未给出最终取值。

表示重对齐

• 对齐对象：有害提示上，让待优化模型若干层的表示接近M_safe。输入可拼接固定安全后缀；论文将其设为提醒不要生成有害或误导内容的英文句，不要求收集安全目标回复。
• 对齐损失：L_align=∑_{i∈ I}|M_opt⁽ⁱ⁾(x_harm)−M_safe⁽ⁱ⁾(x_harm|s_safe)|_F。含义是被优化层与剪枝安全模型在同一有害提示上的表示之Frobenius距离之和。
• 保留损失：在保留样本上，让这些层接近未剪枝原模型，以免丢掉后训练能力。
• 总损失：L=α(1−t/(2T))L_align+α(t/(2T))L_retain。含义是前期更重对齐、后期更重保留；α为系数，t为当前步，T为总步数。作者称该日程受表示工程工作启发。
• 差别：作者称Circuit-breaker依赖预构建回复数据，本文对齐的是模型自身隐藏特征。M_safe由原模型剪枝得到、不引入新权重。

优化设置与判定

• 默认训练：LoRA rank 16；作者称只优化少数层即够，故默认每五层一次。R1-8B的层索引为5、10、15、20、25、30。α默认10。Adam，学习率2e-5，batch size 16，共300步。单张NVIDIA A100 80GB。
• 数据：有害提示来自HarmBench。推理模型保留集为LIMO（约1,000条长CoT）。医学模型用UltraMedical的前20, 00条（原文写法）。金融实验的保留集论文未写。
• 判定：有害率由Llama-3-Guard计算，论文未写阈值。推理效用为GSM8K、MATH-500准确率，医学为MedQA。评测用temperature 0.6的采样解码，论文称按R1官方建议。

实验设置

• 被测模型：DeepSeek-R1-distilled LLaMA-8B（R1-8B）、DeepSeek-R1-distilled Qwen-7B（R1-7B）、OpenThinker-7B（OT-7B，论文称后训练自Qwen2.5-7B-Instruct）、DeepSeek-R1-distilled Qwen-14B（R1-14B）。另有Llama-3-8B-UltraMedical、Finance-Llama3.1-8B-Instruct、QwQ-32B、R1-distilled-32B；Table 6还有QwQ-8B。
• 数据：安全评测为AdvBench、JailbreakBench、XsTest；推理为GSM8K、MATH-500；医学为MedQA。对齐用HarmBench；推理保留集LIMO（约1,000条）。SafeChain基线使用WildJailbreak上由R1生成的50K长CoT安全回复，并加入s1k。各基准条数论文未写。
• 基线：Circuit-Breaker，LoRA设置与层集合同SafeReAct；SafeChain，每个线性模块LoRA rank 16。机制分析另用PAT、ICD、Self-Remind。
• 指标：有害率由Llama-3-Guard判定，论文未写阈值。效用为准确率。XsTest良性提示的拒绝率用与GCG论文相同的字符串列表做匹配。Figure 3报告余弦相似度与JBB ASR。
• 训练与解码：rank 16，α默认10，Adam，学习率2e-5，batch size 16，300步；vLLM，temperature 0.6采样；单张A100 80GB（Section 5.1）。
• 重复：论文未报告重复次数。NeurIPS checklist写因计算资源未做多次重跑，故无误差条。

主结果

据Table 2。简称对应上文四个推理模型。SR为SafeReAct，CB为Circuit-Breaker，SC为SafeChain。

| 模型 | Original JBB | SR的JBB | CB的JBB | SC的JBB | SR的GSM8K | | R1-8B | 33% | 0% | 2% | 27% | 87% | | R1-7B | 45% | 1% | 47% | 8% | 91% | | OT-7B | 43% | 0% | 41% | 9% | 91% | | R1-14B | 23% | 0% | 17% | 7% | 94% |

• SafeReAct：作者称四个模型上最稳定，因只对齐模型自身的隐藏安全表示，而不是预定义回复。Table 2中其AdvBench有害率为1%、0%、0%、1%，XsTest为2%、5%、4%、2%（顺序同表）。R1-7B的XsTest为5%，并非各安全列都接近0。
• Circuit-Breaker：作者称只在R1-8B上改善安全，并假设Qwen系回复与其训练集差异更大。与「其他模型失败」不完全一致的是，R1-14B的XsTest从8%到4%。明确变差的包括R1-7B的AdvBench从29%到40%，以及R1-8B的XsTest从8%到16%。表中R1-7B的JBB列上CB高于Original。
• SafeChain与效用：作者称多数情况有害率仍近10%，但R1-8B的JBB为27%。作者称推理准确率约降20%。GSM8K上SafeChain为63%、71%、79%、81%（Original 88%、92%、93%、94%）。MATH-500上SafeChain为66%、70%、69%、75%，SafeReAct为80%、81%、76%、84%（Original 81%、83%、78%、85%）。作者称SafeReAct在这两个推理集上下降不到3%。

提示词重激活与推理神经元剪枝

• 设置：R1-8B与R1-7B；black-box的ICD、PAT、Self-Remind。剪枝用Wanda集合差，p=0.3，q=0.4，目标域S1K，保留集来自AdvBench；对照为随机剪20%（Section 3，Table 1，Figure 2）。
• Table 1：R1-8B的JBB/AdvBench/GSM8K，Original为33%/29%/88%，ICD为17%/1%/77%，PAT为19%/21%/81%，SelfRemind为27%/13%/75%。R1-7B Original为45%/29%/92%，ICD为23%/1%/81%，PAT为29%/11%/87%，SelfRemind为34%/17%/83%。
• 作者解读：三种提示方法都降低有害率，故安全机制未被移除；GSM8K同时下降，作者称为safety–reasoning trade-off，并称不足以完全恢复安全。作者称随机剪枝不改变安全，剪推理神经元后安全改善，Takeaways称安全行为完全恢复。Figure 2正文未给出柱形百分比。作者还称有害率超过30%、高于LLaMA-3与Qwen2.5；表中JBB为33%与45%，AdvBench均为29%，这两个常规模型的数字论文未给。

医学、金融与32B

• 医学（Table 4）：Llama-3-8B-UltraMedical，Original的JBB 66%、MEDQA 77%；SafeReAct为6%与74%。作者称领域效用得以保持，并称第3节的掩盖说法不限于推理。
• 金融（Table 5）：Finance-Llama3.1-8B-Instruct，AdvBench从16%到2%，JBB从47%到3%。论文写该结果在rebuttal阶段补充。
• 32B（Table 7，JailbreakBench）：QwQ-32B Original 23%、SafeReAct 2%；R1-distilled-32B（表头R1-32B）27%与3%。作者称这是单张80GB A100上能跑的最大模型，且方法仍然有效。

其他消融与分析

• Table 3，R1-8B，α=2/5/10/20：JBB均为0%，GSM8K为84%、86%、87%、86%。
• Table 3，R1-7B：JBB为0%、1%、1%、0%，GSM8K为88%、86%、91%、87%。作者称安全对α稳定、推理变化更大，建议按效用集选α。
• Figure 3：正文写比较R1-7B，图注写R1-8B。作者称与安全表示的余弦相似度在训练中上升，JBB ASR下降。图中有Similarity、JBB ASR(%)及迭代刻度0、50、150、300；正文未给各点数值。
• Table 6，XsTest良性提示的字符串匹配拒绝率。表头为R1-8B、R1-8B、R1-32B、QwQ-8B；Before为2%、2%、3%、2%，After为3%、4%、3%、3%。作者称没有过度拒绝，并猜测原安全策略比XsTest更严。
• 作者称SafeChain训练成本超过Circuit-Breaker与SafeReAct的10倍；除SafeReAct的300步外，论文未报告具体耗时。

作者指出的局限与后续方向

• 领域：评测只包括推理、医学和金融（Conclusion的Limitations）。
• 规模：因资源限制，只评估7B、8B、14B和32B；大于32B的效果未评估（Conclusion的Limitations）。
• Limitations未再列出其他待做实验。Broader Impacts只写该方法可用于让后训练模型重新变安全，未写成后续工作。

实验覆盖范围

• 推理主表为R1-8B、R1-7B、OT-7B、R1-14B，对比Original、Circuit-Breaker、SafeChain、SafeReAct（Table 2，Section 5.2）。
• 另报告Llama-3-8B-UltraMedical（Table 4）、Finance-Llama3.1-8B-Instruct（Table 5）、QwQ-32B与R1-distilled-32B的JailbreakBench（Table 7）；Table 6含QwQ-8B的良性拒绝率。Table 4与Table 5只给出Original与SafeReAct。
• 有害率由Llama-3-Guard判定；解码为temperature 0.6采样；训练为单张A100 80GB上300步LoRA（Section 5.1）。
• 提示词、剪枝与α消融在R1-7B和R1-8B（Section 3，Table 3，α=2、5、10、20）。训练用的p、q只写按JailbreakBench上M_safe的安全结果选取，未给出最终数值。金融实验的保留集论文未写。
• 论文未报告重复次数；checklist写因计算资源未做多次重跑，故无误差条。论文未报告Llama-3-Guard与人工判定的一致性。

这篇工作针对后训练LLM的安全下降，提出表示对齐方法SafeReAct。

• 问题：长CoT等后训练增强领域能力后，模型更常回答有害提示。作者认为安全机制未被删除，而是被过度激活的领域机制掩盖；用大规模安全数据重对齐既费资源，又会损害任务能力。
• 做法：用Wanda集合差剪出领域相关神经元，得到M_safe。再在少数层训练LoRA，使有害提示上的表示接近M_safe，并用保留样本拉回原模型表示。损失权重随步数从对齐转向保留。默认300步、rank 16、α=10。
• 推理主结果（Table 2）：R1-8B、R1-7B、OT-7B、R1-14B经SafeReAct后，JailbreakBench有害率为0%、1%、0%、0%，GSM8K为87%、91%、91%、94%（Original为88%、92%、93%、94%）。同表Circuit-Breaker在R1-7B的JBB为47%，高于Original的45%。SafeChain的GSM8K为63%、71%、79%、81%。
• 其他设置：Llama-3-8B-UltraMedical的JBB从66%到6%，MEDQA从77%到74%（Table 4）。Finance-Llama3.1-8B-Instruct的JBB从47%到3%（Table 5）。QwQ-32B与R1-distilled-32B的JBB经SafeReAct后为2%与3%（Table 7，Original为23%与27%）。
• 作者结论：作者认为对齐模型自身被掩盖的安全表示，可以恢复拒绝，同时保持推理或领域表现；并认为该现象不限于推理模型。作者同时写明，评测只覆盖推理、医学、金融，且未评估大于32B的模型。