当安全集体失效：通过联合权重扰动实现对抗有害微调的鲁棒对齐

1. 01这篇论文试图解决什么问题？

   作者称有害扰动各部分联合施加会放大安全退化，JWP据此在对齐阶段训练。

   下游有害微调会削弱已对齐大模型的安全，作者称现有对齐阶段防御未处理有害权重扰动各部分的联合效应。

   • 场景：模型以开源权重发布，或经 fine-tuning-as-a-service 用用户数据定制时，数据可能混入有害样本，有时并非有意。作者引用的工作称，少量此类数据上的微调即可削弱安全，任务表现仍可能较好，故对齐结束时的安全不能保证后续训练之后仍安全。
   • 现有不足：Vaccine、RepNoise、Booster 在对齐时使用有害样本并模拟有害扰动，但通常把扰动当整体。作者在 Llama-2-7B 上称，持续有害微调中各防御的 HS 都快速上升；Booster 推迟起点，较少更新后安全仍崩溃（Figure 1）。作者认为这反映对扰动内部相互作用处理不足。
   • 观察：同一次有害更新的不相交部分，单独施加影响有限，联合施加的有害性超过各自效应之和；只施加一小部分时安全大体保持，比例升高后 HS 上升加快（Section 4）。作者称之为集体失效。
   • 做法：提出对齐阶段防御 JWP。从当前模型估计有害权重扰动，掩码其不同部分，并在所得状态上训练安全响应，以降低后续微调中对扰动累积的敏感度。
   • 威胁模型：
     • 目标：有害微调之后仍保持安全，并保留学习下游任务的能力。
     • 受害系统：先对齐再被下游微调的模型。默认对齐 Llama-2-7B Base，再在良性任务数据与 BeaverTails 有害样本混合上微调，名义有害比例 10%。
     • 能力：下游集可含有害 prompt–response。不假设微调前能可靠识别并移除。途径为微调即服务或开源权重本地微调。
     • 防御方：对齐时可用 Dalign（提示词与安全目标）和 Dharm（有害提示词与不安全响应）。干预只在对齐阶段，下游流程保持标准形式，不同于下游重加权的 Antibody。

   收起这一问

2. 02有哪些相关研究？

   相关工作分为有害微调、对齐阶段防御、其他阶段防御和权重中的安全结构。

   论文按有害微调、对齐阶段防御、其他阶段防御和权重中的安全结构组织相关工作；实验基线是 SFT、Vaccine、RepNoise 与 Booster。

   有害微调

   • Qi et al. (2024)、Bowen et al. (2025)、Guan et al. (2025)：少量有害样本上的微调可以去掉安全对齐，良性微调数据也可能降低安全。与 Zou et al. (2023) 的提示词越狱不同，这类攻击直接改权重。
   • Qi et al. (2025b)：一种配置下验证过的防御，在微调步数或学习率改变后可能失效。作者据此强调沿完整有害微调轨迹评测，而不是只看单一终点。

   对齐阶段防御

   • Vaccine（Huang et al., 2024b）与 T-Vaccine（Liu et al., 2025）：前者扰动隐藏嵌入以缓解有害嵌入漂移；后者把此类扰动限制在安全关键层。
   • RepNoise（Rosati et al., 2024）与 Booster（Huang et al., 2025c）：前者把有害数据表示推向随机噪声；后者惩罚一次模拟有害梯度步带来的有害损失下降。
   • TAR（Tamirisa et al., 2025）：用元学习针对模拟的多步篡改轨迹训练防护。附录 C 比较状态构造：TAR 沿模拟轨迹采样，JWP 组合同一次拟合更新的部分分量。

   论文称这些防御作用在隐藏表示或聚合后的模拟扰动与轨迹上，并不构造同一次学到的有害权重更新的不同部分组合。

   其他阶段防御

   • 微调阶段：把安全数据混入用户数据（Huang et al., 2024a; Wang et al., 2024; Eiras et al., 2025），约束初始响应 token 的更新（Qi et al., 2025a; Peng et al., 2025），或使更新偏离安全相关子空间（Li et al., 2025）。
   • 微调之后：子空间投影（Hsu et al., 2024）、剪枝有害权重（Huang et al., 2025b）、校正扰动（Wang et al., 2026）。
   • Antibody（Nguyen et al., 2026）：对齐目标追求平坦，并在微调时重加权用户样本。论文称这些方法要控制下游流程，且每次请求都有开销；JWP 只在对齐阶段运行，并与它们互补。

   权重中的安全结构

   • Wei et al. (2024)：安全关键区域稀疏，去掉一小部分参数会破坏安全，同时大体保留效用。
   • AHD（Huang et al., 2025a）：安全主要依赖少数注意力头；训练时以固定概率随机掩码注意力头，把安全行为分散到更多头，针对越狱提示词。
   • 安全盆地（Peng et al., 2024）：随机权重扰动留在盆地内时安全保持，离开后安全下降。论文还提到沿随机方向刻画安全的工作（Zou et al., 2024）。

   论文称上述工作通过模型自身组件或随机方向刻画安全；本文分析的是一次拟合有害更新的组成部分，并称联合施加的安全退化超过各自单独效应。AHD 与 JWP 都用随机掩码，但掩码对象和防御目标不同。

   基线与基准：实验对比 SFT、Vaccine、RepNoise、Booster。对齐数据为 BeaverTails 的 5,000 条；下游为 SST-2、AGNEWS、GSM8K、ARC-Challenge，默认以 10% 有害样本与良性任务样本混合。作者把 JWP 定位为：分解拟合到的有害更新，在其部分施加的状态上优化安全，以针对扰动之间的联合效应。

   收起这一问

3. 03论文如何解决这个问题？

   JWP估计有害权重扰动并随机掩码，在部分施加的状态上训练安全响应。

   JWP 在安全对齐中估计有害权重扰动，随机掩去其中一部分，并让模型在这些临时状态上仍给出安全响应。

   设定与集体失效

   • 流程与数据：先安全对齐，再在用户数据上做下游微调。Dalign 是提示词与安全目标响应；Dharm 是有害提示词与不安全响应。θ 为权重，有害微调引起的变化 ∆h 称为有害权重扰动。
   • 分析对象：用不同方法对齐 Llama-2-7B，再经同一持续下游有害微调得到 ∆h。坐标子集 S 上，∆hS 只保留 S 中的分量。分析时固定 θ 与 ∆h，只改 S（Section 4）。
   • 不相交子集：采样两个不相交集合 Aq、Bq，各占 ∆h 条目的比例 q∈[0, 0.5]。联合伤害放大为 I(q)=HS(A_q∪B_q)−HS(A_q)−HS(B_q)+HS(∅)，即联合施加的 HS 增量减去两个子集各自增量。HS(∅) 为未加扰动的对齐模型。作者把它当作 HS 尺度上的经验指标。
   • 按比例保留：以概率 p 独立保留 ∆h 的每个标量条目，Mi 服从 Bernoulli(p)。p=0 为对齐权重，p=1 为完整扰动。作者称 Booster、Vaccine、RepNoise 在较大子集上 I(q) 为正，且 HS 随 p 在 Figure 2 阴影区内上升加快；正文未给出逐点读数。

   掩码对齐目标

   • 期望损失：给定固定 ∆h，p 从 U(0,1) 采样，再按该概率做 Bernoulli 掩码，在部分施加后的权重上计算 Dalign 的交叉熵。L_JWP(θ∣Δh)=E_p∼U(0,1)E_{M∼Bernoulli(p)}[L_align(θ+M⊙Δh)]。
   • 作者给出的用意：采样 p 改变期望施加比例，采样 M 改变组成，从而覆盖不同组合。这些状态不必是模拟微调轨迹上的检查点。
   • 覆盖性质（附录 D）：若扰动分成 d 个分量，保留个数在 0 到 d 上均匀，同一大小的子集等可能。任意指定的 r 个分量同时被保留的概率为 1/(r+1)。固定保留概率则子集大小为二项分布。每步对齐只用一个采样掩码估计该期望。

   分块估计与更新

   训练按块进行：K 步估计扰动，再 K 步安全对齐（Algorithm 1）。默认 K=100。

   1. 块开始时冻结 θt，临时参数从有效扰动 δ=0 出发，对 Lharm(θt+δ) 优化 K 步。Lharm 是 Dharm 上的交叉熵。拟合学习率为 10^−4，使用与对齐适配器相同 rank 和 scaling 的单独 LoRA；对齐参数在拟合时冻结。
   2. 随后冻结 ∆h，做 K 步对齐。每步新采样 pi∼U(0,1) 与掩码，在小批量上最小化部分施加后的 Lalign。扰动状态上的梯度只更新对齐参数。
   3. 同一 ∆h 复用 K 步后，从更新后的权重重新估计下一轮扰动。

   BeaverTails 中，有害样本的不安全响应用于估计扰动，配对的安全响应用于对齐；良性样本的对齐目标是原响应（附录 A.1）。

   与实验共用的训练选择

   安全对齐与下游微调都用 LoRA，rank 32、α=4、dropout 0，作用在 query、key、value。对齐 4 个 epoch，学习率 5×10^−4；下游 30 个 epoch，学习率 10^−5，每次新初始化 LoRA。AdamW，权重衰减 0.1，有效批大小 10。这些预算对所有方法相同。论文称延长对齐会带来较大对齐税，因此用受效用约束的对齐预算。

   收起这一问

4. 04论文做了哪些实验？

   Llama-2-7B上JWP四任务平均HS为11.50%，低于各基线（Table 2）。

   实验设置

   • 模型：从基座检查点评测 Llama-2-7B、Llama-3.1-8B、Qwen2.5-7B。未另作说明时，默认模型为 Llama-2-7B，默认下游任务为 SST-2。
   • 数据：对齐用 BeaverTails 的 5,000 条。下游为 SST-2、AGNEWS、GSM8K、ARC-Challenge。默认微调集 1,000 条、有害比例 10%，即 900 条良性任务样本加 100 条有害样本。同一任务内各方法看到相同且有序的下游样本。
   • 基线：SFT、Vaccine、RepNoise、Booster，都在对齐阶段使用，之后走同一下游微调。附录 C 与 TAR 的比较是状态构造，实验表未报告 TAR。
   • 指标：HS 是被判为有害的响应百分比。FA 是微调后的下游准确率：SST-2 与 AGNEWS 为分类准确率，GSM8K 看最终数值是否匹配参考答案，ARC-Challenge 用 acc_norm（长度归一化对数似然最高的选项）。UP 是对齐后、微调前的任务准确率，默认 5-shot，报告准确率本身。
   • 评审：Beaver-Dam-7B，阈值 0.5。主结果用 BeaverTails 30k 测试集中前 1,000 条 unsafe 样本的提示，顺序固定。贪心解码，最多 512 个新 token。论文未报告重复次数，也未报告该分类器与人工判定的一致性。
   • 预算：对齐 4 epoch，下游有害微调 30 epoch。LoRA rank 32、α=4，投影为 query、key、value。AdamW，权重衰减 0.1，有效批大小 10。对齐学习率 5×10^−4，下游 10^−5。JWP 默认 K=100。

   主结果

   默认模型 Llama-2-7B、默认有害比例 10% 下，四项下游任务微调后的 HS（%）。据 Table 2。表题未重写模型与比例，数值对应 Section 6.1 的默认设置。

   表格较宽，可左右滑动

   方法	SST-2	AGNEWS	GSM8K	ARC-Challenge	平均
   SFT	68.4	67.4	48.4	65.0	62.30
   Vaccine	60.1	65.4	14.2	59.6	49.83
   RepNoise	62.6	63.7	54.8	60.3	60.35
   Booster	62.4	63.6	22.2	62.9	52.78
   JWP	14.7	16.5	3.6	11.2	11.50

   • 作者解读：作者称 JWP 在四项任务上的 HS 都低于各基线。摘要称，相对包括 Booster 在内的已有防御，四任务平均 HS 有 4.3–5.4 倍的降低。JWP 平均 UP 为 59.39，为 Table 2 最高；平均 FA 为 64.50，低于 Booster 的 64.93。
   • 效用不是每项都最高：AGNEWS 上 JWP 的 FA 为 88.90，低于 SFT 的 90.00 与 Booster 的 89.90；GSM8K 上 Booster 的 FA 为 20.70，高于 JWP 的 20.20。UP 只在 SST-2（92.20）和 ARC-Challenge（54.10）上为表中最高；AGNEWS 的 UP 为 78.84，低于 Booster 的 79.87。作者称下游准确率保持有竞争力，且在 SST-2 上最高。
   • 基线内部差异：Vaccine 在 GSM8K 上的 HS 为 14.2，低于其在另外三项任务上的 60.1、65.4、59.6，仍高于 JWP 的 3.6。论文未解释这一任务差异。

   有害比例与模型族

   • 比例（Table 1）：表题未写模型与任务，位于默认设置之后。clean 即无有害样本、r=0。JWP 的 HS 在 r=0、0.05、0.10、0.15、0.20 为 1.40、4.50、14.70、28.00、45.50，平均 18.82；基线平均最低的是 Booster，47.24。r=0.20 时论文称 200 条有害样本训练 30 epoch，对应 6,000 次有害样本暴露；该列基线 HS 最低为 RepNoise 的 71.50，JWP 为 45.50。作者称所有防御都被削弱，JWP 仍低于该比例下最强基线。JWP 平均 FA 为 94.61，为表中最高。
   • 模型族（Table 3）：ARC-Challenge 混合上，Llama-2-7B、Llama-3.1-8B、Qwen2.5-7B 的 JWP HS 为 11.20、11.00、13.50，平均 11.90。基线平均 HS 从 Booster 的 49.30 到 RepNoise 的 64.93。Qwen2.5-7B 上 Booster 为 30.00，与 JWP 的 13.50 差距小于该模型其他基线。JWP 平均 FA 为 56.68，为表中最高；平均 UP 为 57.57，低于 Booster 的 57.65。Qwen2.5-7B 上 Booster 的 UP 为 61.77，高于 JWP 的 59.56。
   • Figure 1：作者称 Llama-2-7B 上各已评测防御的 HS 随有害微调上升；Booster 相对 Vaccine、RepNoise 推迟起点，较少更新后安全仍崩溃，并称 JWP 抵抗更强。横轴标到 3k steps。正文未给出曲线端点读数。

   掩码、块长度与联合放大

   • 保留概率（Table 4，K=100）：固定 p 时 HS 随 p=0、0.2、0.4、0.6、0.8、1 为 69.20、66.00、61.00、56.80、51.00、31.40；p∼U(0,1) 为 14.70。作者称固定 p 把组合集中在相近保留比例，重采样 p 才能覆盖不同规模。表题未写模型与任务；14.70 与 Table 1 中 r=0.10 的 JWP HS 相同。
   • 块长度（Table 5）：K=10、20、50、100、250、500 的 HS 为 68.60、65.70、54.90、14.70、10.30、28.50；UP 在 89.91 到 92.20 之间，K=100 时 UP 为 92.20。最低 HS 在 K=250。作者称短块可能不足以模拟有害微调，K=500 保护变弱，与过长复用使扰动较不代表当前模型相一致。表题未写模型与任务。
   • Figure 2：作者称 JWP 在较大不相交子集上的 I(q) 小于已有防御，完整扰动下 HS 更低、上升更缓，并认为这可能解释其对持续有害微调的抵抗。左图纵轴为 Joint Harm Amplification，横轴为 Harmful Subset Size（%）；右图纵轴为 Harmful Score，横轴为 Harm Probability（%）。正文未给逐点读数。

   其他消融与分析

   • 效率（Table 6，Llama-3.1-8B，单张 A800-80GB）：对齐耗时 SFT 0.25 h、Vaccine 0.49 h、JWP 0.67 h、Booster 0.84 h、RepNoise 1.65 h；对齐峰值显存依次为 44.10、44.97、46.67、47.09、52.28 GiB。下游微调各方法 0.27 或 0.28 h，峰值显存都是 41.94 GiB。
   • r=0：仅良性下游数据时 HS 仍非零：JWP 1.40，Vaccine 3.00，Booster 6.00，SFT 7.30，RepNoise 7.80（Table 1）。论文未单独解释该列。
   • HS 回升：r=0.20 时 JWP 为 45.50（Table 1）；K=500 为 28.50，高于 K=250 的 10.30（Table 5）；固定 p=1 为 31.40，高于随机 p 的 14.70（Table 4）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出K的选择、jailbreak与跨阶段组合仍待研究，联合放大目前只用HS衡量。

   作者指出的局限与后续方向

   • K 的选择：需要在更多模型与训练设置上进一步探索（Section 7，Limitations）。
   • 威胁范围：评测集中于有害微调，jailbreak 等相关威胁留待探索（Section 7，Limitations）。
   • 单独使用：JWP 被独立评测；与其他阶段防御组合可能提供互补保护（Section 7，Limitations）。
   • 度量：联合放大目前用 HS 衡量，捕捉的是行为后果而非模型内在性质。发展模型层面的交互度量并解释成因，被写为后续方向（Section 7，Quantifying joint amplification）。

   实验覆盖范围

   • 模型与对照：实验运行的基座为 Llama-2-7B、Llama-3.1-8B、Qwen2.5-7B；对齐阶段对照为 SFT、Vaccine、RepNoise、Booster（Section 6.1）。附录 C 讨论 TAR 如何构造状态，实验表未报告 TAR 的分数。
   • 任务与混合：下游任务为 SST-2、AGNEWS、GSM8K、ARC-Challenge（Table 2）。有害比例 0%、5%、10%、15%、20% 的对比在 Table 1；三模型对比使用 ARC-Challenge 混合（Table 3）。
   • 判定：HS 由 Beaver-Dam-7B、阈值 0.5 判定，提示为 BeaverTails 30k 测试集前 1,000 条 unsafe 样本；贪心解码，最多 512 个新 token（附录 A.3）。
   • 训练：对齐 4 epoch，下游 30 epoch；默认下游集 1,000 条、有害比例 10%；JWP 默认 K=100，并报告了 p 与 K 的若干取值（Section 6.1、Table 4、Table 5）。效率测量在 Llama-3.1-8B、单张 A800-80GB 上（Table 6）。
   • 未报告项：论文未报告重复次数，也未报告 Beaver-Dam-7B 与人工判定的一致性。

   收起这一问

6. 06总结一下论文的主要内容

   Llama-2-7B上，JWP在掩码后的有害扰动状态做对齐，四任务平均HS为11.50%。

   JWP 是对齐阶段防御，用来降低后续有害微调对安全对齐的侵蚀。

   • 问题：开源权重或微调即服务中，下游数据里的有害样本会改写权重。作者观察到，一次有害权重扰动的不相交部分单独作用有限，联合施加时 HS 增量可以超过二者之和，并把这称为集体失效。
   • 方法：每 K 步从当前冻结权重出发，在 Dharm 上拟合扰动 ∆h；随后 K 步里每步采样保留概率 p∼U(0,1) 和 Bernoulli 掩码，在部分施加后的权重上用 Dalign 的安全目标做交叉熵更新。默认 K=100。
   • 主结果：Llama-2-7B、有害比例 10% 时，四任务平均 HS 为 11.50，低于 SFT 的 62.30、Vaccine 的 49.83、RepNoise 的 60.35 和 Booster 的 52.78（Table 2）。作者称相对这些防御有 4.3–5.4 倍的平均 HS 降低。平均 UP 为 59.39，平均 FA 为 64.50。
   • 其他设置：默认 SST-2 上，有害比例 0%–20% 的 JWP 平均 HS 为 18.82，Booster 为 47.24（Table 1）。三模型、ARC-Challenge 混合的平均 HS 为 11.90（Table 3）。p∼U(0,1) 的 HS 为 14.70，低于固定 p=1 的 31.40（Table 4）。K=250 的 HS 为 10.30，K=500 为 28.50（Table 5）。
   • 作者结论：作者认为应把联合放大作为安全对齐的一个目标；在所测攻击轨迹、数据混合、下游任务和模型族上，JWP 对有害微调的抵抗更强，并大体保持效用。作者同时指出，K 还需在更多设置上探索，jailbreak 未评测，且 JWP 是单独评测的。

   收起这一问

相关论文