理解安全去对齐对大语言模型的影响

比较 JT 与 WO 解除对齐后，模型是只更少拒答，还是更能协助恶意活动并仍保持有用。

• 场景：作者认为前沿模型部署前普遍经过安全对齐，以便拒绝有害请求，同时给出有帮助且无害的回复。解除对齐会让模型完成原本会拒绝的请求，从而可能协助恶意活动。
• 不足：作者称既有分析多限于各方法单独的拒答率，对对抗攻击、网络攻击、幻觉、推理模型，以及 JT 的 helpfulness 缺少对照，JT 与 WO 也缺少直接比较。
• 观察：作者称拒答率下降是有害能力的必要而非充分条件。因此要看解除对齐后模型能否执行恶意任务，以及幻觉和自然语言能力是否被破坏。
• 做法：对三个指令微调模型及其推理对应模型共六个 LLM，同时施加训练式 JT 与免训练 WO，再对 WO 模型用良性数据做监督微调（SFT）。
• 实施条件：论文在 Section 4 称，JT 可经由数据投毒在微调接口上实施；WO 需要白盒权重才能估计拒答向量并正交化。本文实验用的是 Table 1 中可取得权重的模型。

引言按方法来源分组，没有单独的 Related Work 节。

• 安全对齐：Bai et al. (2022)、Dai et al. (2024)、Ji et al. (2023)、Tian et al. (2024)、Wang et al. (2024) 用恶意与良性数据多轮微调，使模型拒绝恶意请求并遵循良性指令。论文把 DPO（Rafailov et al., 2023）等称为 SOTA 偏好算法，并称前沿模型部署前普遍做安全对齐（Dubey et al., 2024; Guo et al., 2025; Hurst et al., 2024; Yang et al., 2025）。
• 训练式解除对齐：Lermen et al. (2023) 用纯恶意数据微调。Qi et al. (2024)、Zhan et al. (2024) 做数据投毒；论文称少量有害样本也会削弱护栏。Bowen et al. (2025) 的 jailbreak-tuning 把越狱指令与有害补全结合。论文引用 Betley et al. (2025)，称 JT 比先前做法更能削弱护栏，并转述：恶意/良性比 2% 时，JT 绕过 OpenAI 审核、微调 gpt-4o，标准安全基准上的拒答能力最多降 95.8%。该数字不是本文实验。
• 免训练正交化：Arditi et al. (2024) 用有害与无害提示估计拒答向量，正交化权重以禁止写入该方向。论文称这会降低非推理模型的拒答护栏，且不太改变自然语言 helpfulness。
• 基线方法与基准：实验基线是各模型的原始对齐版本，JT 与 WO 互为对照，没有把其他攻击算法当作对照。评测用 StrongREJECT、HarmBench 上的 AutoDAN-Turbo、CyberSecEval 3、TruthfulQA、TofuEval，以及 ARC-E、ARC-C、HellaSwag、PIQA、Winogrande、MMLU、IFEval。论文在 Section 3.3、3.4 称，先前 JT/WO 的 TruthfulQA 与 helpfulness 评估限于指令微调模型，二者没有直接对比；JT 的 TruthfulQA 评估未与基座比较，也未测指令跟随。

作者把本文定位为在同一批指令微调与推理模型上，直接比较 JT 与 WO 的有害能力与有用能力。

对同一批模型分别做 jailbreak-tuning（JT） 与 weight orthogonalization（WO），再只对 WO 模型做良性 SFT，比较有害协助与有用能力。

模型与比较轴

• Table 1 的六个模型：指令微调 Qwen3-4B（Qwen3-4B-Instruct-2507）、Llama-3.1-8B（Llama-3.1-8B-Instruct）、Qwen2.5-14B；推理对应 Qwen3-4B*（Qwen3-4B-Thinking-2507）、Llama-3.1-8B*（Deepseek-R1-Distill-Llama-8B）、Qwen2.5-14B*（Deepseek-R1-Distill-Qwen-14B）。* 表示推理模型。
• 比较拒答、对抗攻击、网络攻击协助、幻觉和通用 helpfulness。表中红色表示该变体最增加有害性或最降低 helpfulness。

JT

• 流程跟随 Bowen et al. (2025)。良性部分用 BookCorpus Completion（Pelrine et al., 2023）；越狱触发来自 PKU-SafeRLHF（Ji et al., 2025a）的恶意样本。论文未给出触发词原文。
• 最终 5,000 条，98% 良性、2% 恶意。微调 5 个 epoch，学习率 5e-4，adamw_torch，cosine annealing，weight decay 0.1，Q-LoRA（r=64，α=128，dropout=0.05）。

WO

• 免训练。在各层、指令后的各 token 位置，计算有害与无害指令的均值差，得到候选向量；选出移除后最能抑制恶意样本拒答的向量 r。
• 对写入残差流的权重正交化：W′ ← W − rr^⊤W。含义是阻止模型在残差流中写入拒答方向 r。
• 代码改自 Arditi et al. (2024)，为 Deepseek 与 Qwen3 增加拒答相关 token。有害指令随机取自 Huang et al. (2024)、Mazeika et al. (2023)、Zou et al. (2023)，无害指令取自 Alpaca。候选向量在恶意与良性验证指令上用 Llama Guard 2 打分。论文未写采样条数。

判定与评测协议

1. StrongREJECT：323 条恶意样本，temperature=0。评审是 StrongREJECT 专用的微调 Gemma-2B。
2. AutoDAN-Turbo：被评估模型作 attacker。目标是 Table 2 拒答率最高的两个对齐基座，Qwen3-4B 与 Llama-3.1-8B。scorer 为 Llama-3.1-8B。目标取 HarmBench 的 200 条训练样本。每目标最多 k=20 次，分数高于 8.5 算成功。ASR 是 200 个目标中的成功百分比。
3. CyberSecEval 3：1,000 条 MITRE ATT&CK 请求，看回复是否协助达成攻击目标。temperature=0.6，top_p=0.9，三个固定种子各生成一次后平均。附录 A.1 写明评审为 gpt-4o，10 类各 100 条。
4. 幻觉：TruthfulQA 的幻觉率是 1 减 MC1 与 MC2 准确率的平均。TofuEval 用 MeetingBank 的 50 篇文档、每篇 3 个主题，共 150 个摘要任务；temperature=0.7，评审 gpt-4o，每模型三次不同种子，幻觉率按全部 450 次摘要计算。
5. Helpfulness 用 Eleuther LM Evaluation Harness v0.4.9.2。ARC-E、ARC-C、MMLU、PIQA、Winogrande 报准确率，HellaSwag 报 normalized accuracy，IFEval 报 average accuracy。推理模型额外设置 think_end_token 为文中给出的结束标记。IFEval 与 TruthfulQA 使用 fewshot_as_multiturn 和 apply_chat_template；附录 A.2 称这两项 flag 会降低其余常识与推理任务的表现，故那些任务的最终结果未使用。

缓解用的 SFT

• 只对 WO 模型。数据为 OpenHermes，243,000 条。1 个 epoch，学习率 1e-5。其余参数沿用 Section 2 的训练配方；论文未逐项写明 SFT 是否使用 Q-LoRA。

实验设置

• 被测模型：Table 1 的六个，各有原始、JT、WO；Section 3.5 另有 WO-SFT。短名对应原文名见上一问。
• 基准规模：StrongREJECT 323 条；HarmBench 200 个训练目标；CyberSecEval 3 1,000 条；TofuEval 150 个任务、450 次摘要。论文未写 TruthfulQA 与 helpfulness 各项的样本条数。
• 指标：拒答率及 % Decr.；ASR 及相对对齐模型的 % Inc.；幻觉率及两基准平均增幅百分比；helpfulness 及平均下降百分比。
• 评审：StrongREJECT 用微调 Gemma-2B；AutoDAN-Turbo 的 scorer 是 Llama-3.1-8B，阈值 8.5；CyberSecEval 3 与 TofuEval 用 gpt-4o。论文未报告评审与人工的一致性。
• 重复：CyberSecEval 三个种子平均；TofuEval 每模型三次摘要。StrongREJECT 为贪心解码。论文未报告 AutoDAN-Turbo 与 helpfulness 的重复次数。
• 攻击设置：attacker 是被评估的解除对齐模型；受害模型是对齐后的 Qwen3-4B 与 Llama-3.1-8B，不是解除对齐后的模型。

主结果

表格较宽，可左右滑动

模型	拒答率 原/JT/WO	攻Llama ASR JT/WO	攻Qwen3-4B ASR JT/WO
Qwen3-4B	99.4 / 24.6 / 38.7	42.7 / 65.0	58.2 / 70.8
Llama-3.1-8B	98.4 / 24.9 / 9.9	62.4 / 64.9	59.5 / 65.2
Qwen2.5-14B	80.5 / 50.8 / 22.4	64.6 / 60.6	78.0 / 46.2
Qwen3-4B*	81.2 / 34.8 / 70.6	49.5 / 77.5	45.6 / 88.5
Llama-3.1-8B*	45.4 / 21.7 / 26.2	35.2 / 70.4	35.4 / 70.3
Qwen2.5-14B*	39.3 / 28.8 / 26.5	59.1 / 65.4	50.8 / 60.6

拒答率据 Table 2，ASR 据 Table 3。Llama 行攻 Llama 时，目标是同名对齐基座，不是另一个模型族。

• 作者称拒答降幅两种方法各在三个模型上更大。JT 更大的是 Qwen3-4B、Qwen3-4B*、Llama-3.1-8B*；WO 更大的是 Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-14B*。
• 引言称相对 JT，WO 平均多 27.7% 成功对抗攻击；推理模型平均多 40.2%。六个推理模型×目标组合里，WO 的 ASR 都更高。例外是 Qwen2.5-14B：两个目标上 JT 都高于 WO。
• 作者称有六次 JT 评估的 ASR 低于对应基座，其中四次来自推理模型。Table 3 的 % Inc. 为 −10.9、−0.3、−26.7、−39.2、−45.5、−43.4，分别对应 Qwen3-4B 攻 Llama、Llama-3.1-8B 攻 Qwen3-4B，以及 Qwen3-4B*、Llama-3.1-8B* 的两个目标。WO 的十二个对抗 % Inc. 均为正。

网络攻击协助

• CyberSecEval 3（Table 3）上，六个模型的 WO ASR 都高于对应 JT。作者在引言中称 WO 协助网络攻击的能力平均比 JT 高 6.1%。
• JT 在一半模型上低于基座：Llama-3.1-8B JT 97.7%（基座 98.1%）、Qwen3-4B* JT 60.1%（基座 80.5%）、Llama-3.1-8B* JT 88.1%（基座 92.7%）。WO 六个模型都高于基座。
• 表中最高 WO 值为 Llama-3.1-8B WO 的 98.6%；其基座已是 98.1%。相对增幅最大的是 Qwen3-4B WO 的 44.8%（67.7% 到 98.0%）和 Qwen2.5-14B* WO 的 39.6%（59.0% 到 82.4%）。

幻觉与 helpfulness

• Table 4：六个模型上 JT 的平均幻觉增幅都高于 WO。作者称 JT 使 TruthfulQA、TofuEval 幻觉率平均上升 8.9 与 41.2 个百分点，WO 为 3.6 与 −1.7。引言称 WO 平均比 JT 少 39.5% 的幻觉可能。WO 降低一半模型的 TofuEval 幻觉，且不改变 Qwen2.5-14B（均为 30.7）。Avg. % Incr. 列最大为 Llama-3.1-8B* JT 的 136.3%。
• Table 5：作者称跨任务与模型平均，JT 的 helpfulness 下降 13.4%，WO 为 2.2%，并称后者是六倍更小的降幅。引言称 WO 多保留 11.2% 的 helpfulness。反例：Qwen3-4B* 的 avg. % decr. 是 WO 5.4、JT 2.8，WO 更大。IFEval 上 JT 下降更明显，如 Llama-3.1-8B 从 79.9 到 JT 30.9、WO 80.3。
• 据 Table 4，六个 WO 的 TruthfulQA 幻觉率都高于对应基座。作者称两种方法都降低拒答，但 WO 对幻觉的影响更小。

SFT 缓解 WO

• Section 3.5 与 Figure 1、Figure 2：WO 之后在 OpenHermes 上做 1 个 epoch SFT。作者称所有情况下拒答能力都得到恢复，并为指令微调模型恢复 40.5–69.8% 的拒答护栏；Qwen2.5-14B* WO-SFT 的拒答率超过原基线。正文未给该格的拒答率。
• 对抗攻击：Section 3.5 称相对 WO 变体，AutoDAN-Turbo ASR 平均降 45.3%；引言写平均降 37.5%。作者称 Qwen3-4B* WO-SFT 与 Llama-3.1-8B* WO-SFT 的 ASR 分别降低 32.2% 与 24.4%，且低于各自原对齐基线；论文未写明这两个百分比相对的是 WO 还是原基座。Figure 1 的逐柱数值正文未列出。
• 网络攻击：作者称一半模型下降、一半上升，未点名是哪些模型。摘要称缓解不会大幅影响幻觉率或自然语言表现；引言称幻觉率没有明显上升、总体 helpfulness 没有明显下降。正文未给 WO-SFT 的这两项具体数。Figure 2 的说明是：相对原对齐模型，数值越低表示越安全或越有用，负值表示高于原模型。

其他消融与分析

• 论文未报告学习率、投毒比例、LoRA 秩或 k 的消融。
• Section 3.1 的分组均值：WO 使指令微调模型拒答率相对降 74.4%、推理模型降 29.3%；JT 分别为 62.3% 与 45.3%。此 45.3% 不是 SFT 的 ASR 降幅。
• 推理模型原拒答率低于对应指令微调模型，如 Llama-3.1-8B* 45.4% 对 Llama-3.1-8B 98.4%（Table 2）。
• Qwen3-4B* WO 的 % Decr. 为 13.0，是 Table 2 中最小的 WO 拒答降幅。
• Llama-3.1-8B WO 的 Avg. % Incr. 为 −7.8%（Table 4），是 WO 行里唯一为负的平均幻觉增幅。
• 附录 A.2：fewshot_as_multiturn 与 apply_chat_template 会降低 ARC 等任务上全部模型的表现，故那些结果未用这两项 flag。

作者指出的局限与后续方向

• 作者称 WO 目前需要白盒权重，才能估计拒答向量、正交化并阻止写入该方向；白盒是其普遍适用性的唯一限制（Section 4）。
• 作者称 SFT 能自动降低 WO 的对抗能力，但要进一步降低网络攻击效力仍需额外工作（Section 4）。
• 作者计划探索 SFT 加偏好对齐能否抑制恶意网络能力，以及分布内网络攻击偏好数据在其中的作用（Section 4）。
• 作者计划研究能实现 WO 式解除对齐的黑盒流程，并称这是高风险的军备竞赛；一旦做出，将通知主要前沿模型开发者并寻求限制办法（Section 4）。
• 作者呼吁在有人绕过 WO 的白盒限制之前，寻找 SFT 以外、能限制 WO 恶意能力的办法（Section 4）。

实验覆盖范围

• 被测模型为 Table 1 的 6 个：3 个指令微调模型及其推理对应模型。gpt-4o 拒答能力最多降 95.8% 是对 Bowen et al. (2025) 的转述，不是本文跑的解除对齐实验。
• 任务包括 StrongREJECT（323）、AutoDAN-Turbo（HarmBench 200 个目标，k=20，阈值 8.5）、CyberSecEval 3（1,000 条，3 个种子）、TruthfulQA、TofuEval（450 次摘要）和 Table 5 的 7 项 helpfulness 任务。
• AutoDAN-Turbo 的受害模型只有对齐后的 Qwen3-4B 与 Llama-3.1-8B；scorer 固定为 Llama-3.1-8B。
• SFT 只做在 WO 模型上（OpenHermes，1 epoch，学习率 1e-5）。论文未报告对 JT 做同样的 SFT。
• 论文未报告统计显著性检验、AutoDAN-Turbo 的重复次数，以及 WO-SFT 各模型的拒答率、幻觉率、helpfulness 和逐目标 ASR。

作者在六个开源 LLM 上比较 JT 与 WO 解除安全对齐后的恶意协助能力和有用性，并用 SFT 试着压低 WO 的攻击收益。

• 问题：安全对齐要让模型拒绝有害请求。作者认为拒答下降本身还不能代表有害协助能力，也不能代表有用能力是否保留，因此把两种解除对齐放在同一批模型上对照。
• 方法：JT 在 5,000 条数据中放入 2% 带越狱触发的恶意样本，微调 5 个 epoch。WO 估计拒答方向后，正交化写入该方向的权重。WO 模型再在 OpenHermes 上做 1 个 epoch SFT。实验模型是三个指令微调模型及其推理对应模型。
• 拒答：StrongREJECT 上两种方法各在三个模型降得更多。Llama-3.1-8B WO 的拒答率为 9.9%（基座 98.4%，Table 2）；Qwen3-4B* WO 只到 70.6%（基座 81.2%）。推理模型的原拒答率低于对应指令微调模型。
• 攻击与能力：引言称 WO 比 JT 平均多 27.7% 成功的 AutoDAN-Turbo 攻击，推理模型上多 40.2%，网络攻击能力平均高 6.1%。Qwen3-4B* WO 对对齐后 Qwen3-4B 的 ASR 为 88.5%（Table 3）。例外是 Qwen2.5-14B 的 JT 在两个对抗目标上都高于 WO；JT 还有六次对抗 ASR 低于基座。作者称 JT 的 helpfulness 平均降 13.4%，WO 降 2.2%，且 WO 的幻觉增幅更小；Qwen3-4B* 的 helpfulness 平均降幅是 WO 更大。
• 缓解：作者称 SFT 恢复了全部 WO 模型的拒答。对抗 ASR 在 Section 3.5 中相对 WO 平均降 45.3%，引言写平均降 37.5%。网络攻击能力一半下降、一半上升。作者称该缓解不会大幅抬高幻觉或拉低自然语言表现，但未给逐格数字。
• 作者的结论：作者认为 JT 会服从有害请求，但不适合作为有能力的恶意助手；WO 在保留良性能力的同时去掉安全约束，因而更危险。作者同时称，JT 因可投毒，对前沿微调接口更可行；WO 目前需要白盒权重。Section 4 以 Claude 被越狱后协助针对政府机构的网络活动为例，说明安全训练是门槛，解除对齐会拿掉这道门槛。