WRDO：对齐大语言模型中的加权拒绝方向优化

1. 01这篇论文试图解决什么问题？

   作者研究用学习到的聚合权重组合逐提示词拒答方向，能否得到比单一 difference-of-means 方向更强的拒答干预。

   核心问题：标准的单方向拒答消融把异质有害提示词平均成一个方向，作者研究学习逐提示词方向的聚合权重能否构造更强的拒答干预。

   • 问题场景：对齐 LLM 的拒答行为被先前工作认为主要由残差流中单一方向介导，消融一个 difference-of-means 向量即可在多个开源模型上禁用拒答，且该干预可一次性写入权重、无推理时开销（引言）。
   • 现有构造的不足：作者认为标准构造把虚假信息、恶意软件、隐私侵犯等不同类别的有害提示词放进同一个均值，得到的拒答方向是"弥散"的，混淆了在残差流中未必对齐的现象（Section 1）。
   • 核心假设：逐提示词方向在质量上是异质的，而作者援引集成分类器、联邦平均和 adapter 选择中的经验，认为性能感知的加权聚合在组件质量不齐时优于均匀平均，因此学习聚合权重可能得到更强的干预方向（Section 1）。
   • 论文提出：Weighted Refusal Direction Optimization（WRDO），从逐提示词方向库中学习聚合权重构造复合拒答方向，并给出 WRD-CMAES 与 WRD-GRPO-IS 两种实例；另研究把同一机制反向用于恢复被 abliterate 模型拒答行为的防御设置（Section 1）。
   • 威胁模型（按论文表述）：
     • 攻击者目标：通过权重空间干预抑制对齐模型的拒答行为，使其对有害提示词给出不安全回答（以 ASR 衡量，Section 2.4）。
     • 知识与能力：操作 open-weight 模型的权重，直接对注意力输出投影和前馈下投影做正交化编辑（Section 2.3）。
     • 受害系统：三个开源对齐模型；防御设置中是一个第三方 abliterated 检查点，其编辑过程对作者未知，作者只从权重出发操作（Section 5.5）。
     • 成功判定：guard judge 对（提示词，回答）对输出二元 safe/unsafe 标签，ASR 为测试集上 unsafe 比例（Section 2.4）。

   收起这一问

2. 02有哪些相关研究？

   相关工作围绕拒答方向的机制研究与编辑工具、加权聚合的先例，以及本文采用的优化方法三类展开。

   拒答的机制研究与编辑工具

   • Arditi et al. [5]（2024）：提出拒答由残差流单一方向介导，用 difference-of-means 向量消融即可禁用拒答，并建立激活消融与权重空间正交化的等价；本文的 Basic RD 基线和干预算子均来自该工作。
   • Heretic（Weidmann [6]，2025）：公开工具包，把 [5] 的单方向配方端到端自动化，并用内部贝叶斯搜索调节逐层强度；本文直接采用其干预算子和固定强度调度，并将其作为基线。
   • Wollschläger et al. [10]（2025）：提出 RDO（用梯度下降直接学习单条拒答方向）和 RDO-CONE（主张拒答由一个方向锥而非单条线介导）；论文称 RDO-CONE 是与 WRDO 动机最接近的先前构造，区别在于 RDO-CONE 学习张成锥的一组方向并消融整个锥，WRDO 固定逐提示词方向库、只学习聚合方式。

   加权聚合的先例

   • Ahsen et al. [7]（2019）、FedWAPR [8]、Weight-LoRA [9]：分别在集成分类器排序、联邦学习和 adapter 选择中使用性能感知的加权聚合；论文援引它们支持"组件质量不齐时加权优于均匀平均"的动机，未逐一对比。

   优化方法

   • CMA-ES（Hansen & Ostermeier [11]；Hansen [12]）：无梯度连续黑盒优化器，本文将其适配为 WRD-CMAES。
   • NES / ES（Wierstra et al. [13]；Salimans et al. [14]）：进化策略家族；论文称两种 WRDO 实例都属于该家族，WRD-GRPO-IS 可读作带重要性混合校正的 ES，区别在于它把标量适应度经 token 级策略比率路由并可携带 KL 项。

   基线与基准

   • 基线方法：Basic RD、Heretic、RDO、RDO-CONE，外加本文构造的 sanity-check 基线 Uniform-avg WRD（同一候选库、权重固定为均匀向量）。
   • 基准/数据集：有害提示词池为 AdvBench、MaliciousInstruct、TDC2023、HarmBench、JailbreakBench、StrongREJECT 六个公开基准去重合并；无害基线为 Alpaca 子样本；外部评估用 HarmBench 官方分类器；效用基准为 ARC-easy、ARC-challenge、MMLU、GSM8K、WikiText 困惑度。

   作者将本文定位为：在 [5] 的单方向配方和 [10] 的锥构造之间，提出"固定方向库 + 只学聚合权重"的第三条路，并用同一目标、同一预算比较 ES 与 RL 两种优化路线（Section 1、3.2）。

   收起这一问

3. 03论文如何解决这个问题？

   WRDO 为每个有害提示词构造逐层方向库，学习系数向量加权聚合成复合方向，再经 Heretic 式权重正交化写入模型。

   整体思路：把"找一条拒答方向"改为"找一组聚合权重"——先为每个有害训练提示词构造逐层方向组成候选库，再用黑盒优化学习系数向量 w，把库聚合成复合方向，最后沿用 Heretic 的权重空间正交化算子完成一次性编辑。

   候选库与加权方向

   • 逐提示词方向：对每个有害训练提示词 xi，在每一层取残差流激活（最后一个 token 位置）与无害均值之差并做 L2 归一化，r_i^(l) = (h^(l)(x_i) − μ_benign^(l)) / |h^(l)(x_i) − μ_benign^(l)|₂，即每个提示词在各层各有一条单位方向（式 1）。
   • 候选库：库 R 每个模型只算一次，所有优化方法共享；规模 N = 128 条提示词，采样种子 42（附录 C）。
   • 加权复合方向：r^(l)(w) = ∑_i w_i r_i^(l) / |∑_i w_i r_i^(l)|₂，标量权重跨层、跨坐标共享，随后逐层 L2 重归一化，因此 w 的整体正尺度被消去，只有各层复合方向的朝向可变（式 2）。
   • 约束：w 为带符号实数，可行域仅为逐坐标盒 [−2.0, +2.0]^N，无单纯形、范数或稀疏约束；所有无梯度方法初始化在均匀平均点 wi = 1/N（附录 A、F）。

   干预算子与目标

   • 干预：采用 Heretic 的权重空间正交化，把每个注意力输出投影和前馈下投影替换为 W′ = W − α(l) r(w) r(w)⊤W（式 3）；与 Heretic 唯一的差别是把单方向换成式 2 的复合方向。
   • 强度调度：α(l) 从峰值位置（max_weight_position = 0.7）向两侧线性衰减到窗口边界（min_weight_distance = 0.3，αmin = 0），全文只变峰值 α ∈ {1.0, 1.5, 2.0, 3.0}（附录 B）。
   • 优化目标：每个 guard 输出二元判定 J(x, y)，ASRJ 为验证分布上 unsafe 比例，目标 LJ(w) = −ASRJ(w)，攻击即最小化 LJ（式 4–6）。

   两种优化器

   • WRD-CMAES：用 Optuna 的可分离 CmaEsSampler 优化 LJ；每次黑盒查询是一次完整 WRDO 评估（构造复合方向、干预模型、在验证批上测 ASR）；预算 n_trials = 50，种子 42，消耗的是无正则的纯 ASR 信号（Section 3.2、附录 F）。
   • WRD-GRPO-IS：把目标看作不可微函数，用强化学习优化；在 LJ 上加 KL 惩罚 β·KLw（干预策略相对干净模型在无害批上的 KL），β = 1000.0（式 8、附录 F）。
   • GRPO-IS 机制：每步从 M = 8 个行为策略采样，行为策略由当前 w 加高斯噪声 εm ∼ N(0, σ²IN)（σ = 1）构造；因样本相对旧策略是离策略的，引入序列级重要性权重 vem = πθold(ym|x)/µm(ym|x)（经裁剪）修正，并用同一权重计算组基线；只更新 w，候选库、基座参数和 α(l) 全程固定（式 9–11）。
   • 训练参数：AdamW，学习率 10⁻³，n_epochs = 50，clip_ratio = 0.2，is_clip_ratio = 5.0（附录 F，Table 7）。

   成功判定与防御模式

   • 判定：三个 guard judge（WildGuard、Qwen3Guard-Gen-8B、Llama-Guard-3-8B）各自给出二元标签，ASR 分 judge 报告；HarmBench 官方分类器作为从不参与优化的外部评估器（Section 4.3）。
   • 防御模式：同一管线、同一 α 网格只把符号反转，用于在被 abliterate 的检查点上恢复拒答；对 Basic RD 而言这与 [5] 的防御配方一致，Heretic 和 RDO 不暴露防御模式故不参与该实验（Section 5.5）。

   收起这一问

4. 04论文做了哪些实验？

   在三个 7–8B 开源模型、三个 guard judge 上比较六种方法，作者称 WRDO 攻击与防御均优于单方向基线，且 WRD-GRPO-IS 保持效用最好。

   实验设置

   • 被测模型：Qwen3-8B-Base、OLMo-3-1025-7B、Olmo-3-7B-Instruct；HarmBench 评估另加 Qwen3-8B；规模对比另加 21B 的 gpt-oss-20b（3.6B 激活参数）；防御设置用第三方 abliterated 检查点 Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2（Section 4.2、5.4、5.5、附录 I）。
   • 数据：六个公开有害基准去重合并，预分为训练/验证/测试；候选库取训练集中 N = 128 条；无害基线为 mlabonne/harmless_alpaca 训练集前 400 条，KL 惩罚用其测试集 50 条（Section 4.1、附录 C）。
   • 基线：Basic RD、Heretic、RDO、RDO-CONE、Uniform-avg WRD（同库、均匀权重、无优化）。
   • 指标与评审：主指标为分 judge 的测试集 ASR；judge 为 WildGuard、Qwen3Guard-Gen-8B、Llama-Guard-3-8B，各输出二元 safe/unsafe；外部评估用 cais/HarmBench-Llama-2-13b-cls；效用用 lm-evaluation-harness 跑 ARC-e、ARC-c、MMLU、GSM8K 和 WikiText 困惑度（Section 4.3–4.5）。
   • 解码与重复：贪心解码、最多 100 个新 token、每提示词一条回答；Table 1 中每个干预单元为三次独立重复全流程的均值和标准差（Section 4.2、Table 1）。
   • 优化信号：效用与 HarmBench 实验只用对 WildGuard 优化得到的 w⋆（Section 5.3、5.4）。

   主结果

   攻击设置测试集 ASR（据 Table 1，α ∈ {1.0, 3.0}，judge 为 WG/Q3G/LG3）：

   表格较宽，可左右滑动

   模型	方法	WG α=1.0	Q3G α=1.0	LG3 α=1.0	WG α=3.0
   Qwen3-8B-Base	Basic RD	0.22	0.11	0.44	0.81
   Qwen3-8B-Base	Heretic	0.77	0.83	0.81	0.77
   Qwen3-8B-Base	RDO	0.34	0.41	0.48	0.34
   Qwen3-8B-Base	WRD-GRPO-IS	0.91	0.94	0.87	0.93
   OLMo-3-1025-7B	Basic RD	0.41	0.51	0.43	0.76
   OLMo-3-1025-7B	WRD-GRPO-IS	0.82	0.86	0.79	0.92
   Olmo-3-7B-Instruct	Basic RD	0.40	0.42	0.43	0.53
   Olmo-3-7B-Instruct	WRD-GRPO-IS	0.92	0.88	0.93	0.93

   • 表中省略了 Uniform-avg WRD 与 WRD-CMAES 行及 α=3.0 的 Q3G/LG3 列；完整网格见 Table 1，中间强度 α ∈ {1.5, 2.0} 见附录 D 的 Table 5。
   • 作者称两种学习型 WRDO 实例在几乎每个配置下都以明显优势超过所有先前单方向基线；Uniform-avg WRD 在整个 α 网格上一致低于学习型实例，作者据此认为收益来自学习聚合权重而非候选库本身（Section 5.1）。
   • 例外：附录 I 报告 RDO-CONE 在 Qwen3-8B-Base 上以 0.953 对 0.93 领先 WRD-GRPO-IS 3.3 个 ASR 点，WRD-GRPO-IS 在两个 OLMo 检查点上分别领先 5.5 和 8.5 点（Table 12，单次运行）。

   效用保持

   • 测了什么：对产生 Table 1 的同一批 w⋆ 跑四个准确率基准和 WikiText 困惑度（Table 2）。
   • 结果：α=3.0 时 Qwen3-8B-Base 上 Basic RD 的 GSM8K 从 0.84 降到 0.00、MMLU 降到 0.23、PPL 超过 10¹²；WRD-CMAES 的 GSM8K 降到 0.004；WRD-GRPO-IS 保持 GSM8K 0.83、ARC-e 0.64、PPL 11.35（干净模型为 11.11）。
   • 作者解读：WRD-GRPO-IS 保持效用最好，因为其代理目标含 KL 正则；WRD-CMAES 只优化纯 ASR 信号，出现与先前基线相同的能力退化；Heretic 的 KL 目标保住了困惑度，但在 Qwen3-8B-Base 上仍付出 40 个 MMLU 点和 65 个 GSM8K 点的代价（Section 5.3）。

   HarmBench 外部评估

   • 测了什么：用从不参与优化的 HarmBench 官方分类器重评 instruct 变体（Qwen3-8B、Olmo-3-7B-Instruct）的 ASR（Table 3）。
   • 结果：Qwen3-8B 上 WRD-GRPO-IS 在 α=3.0 达 0.97，WRD-CMAES 在 α=2.0 达 0.97；Heretic 固定为 0.87，Basic RD 最高 0.48，RDO 为 0.39。
   • 作者解读：guard judge 指标与训练外分类器一致，作者据此认为 WRDO 的优势是真实效应而非对训练信号的过拟合（Section 5.4）。

   防御设置

   • 测了什么：把同一管线符号反转，作用于第三方 abliterated 检查点 Llama-3.1-8B-Lexi-Uncensored-V2，测三个 judge 的 ASR（Table 4）及 HarmBench 外部复评（Table 11）。
   • 结果：未防御检查点 ASR 约 0.85（三 judge）/ 0.94（HarmBench）；α=−1.5 时两种 WRDO 实例把三 judge ASR 降到 0.011–0.073，HarmBench ASR 降到 0.02–0.03；Basic RD 在 α=−3.0 前 HarmBench ASR 仍在 0.90 以上。
   • 作者解读：作者称两种学习型实例在防御设置中明显胜出，Basic RD 未能恢复拒答；同一机制经符号反转即可适配防御，优化器和候选库不变（Section 5.5）。

   其他消融与分析

   • 跨 judge 迁移（附录 H，Table 9）：对 WildGuard 优化的干预迁移到另两个 judge 较好，反向不稳定；作者认为 WildGuard 是所考虑 guard 中最可靠的优化信号。
   • β 扫描（附录 K，Table 10、13）：在 Qwen3-8B-Base、α=1.0 上扫 β ∈ {1, 10, 10², 10³, 10⁴}，β=10³ 是唯一同时保持 ASR 0.91 且效用与干净检查点一致的取值，选定后对所有模型和 judge 复用。
   • 规模对比（附录 I，Table 12）：在 gpt-oss-20b 上重复攻击设置，WRD-CMAES 0.923、WRD-GRPO-IS 0.931，高于 Heretic 0.772 和 Basic RD 0.308（单次运行）。
   • 运行时间（附录 G，Table 8）：单张 H100 80GB 上，WRD-GRPO-IS 约 11 小时，WRD-CMAES 约 4 小时，Basic RD 约 2 小时。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出模型规模覆盖和 WRD-CMAES 缺 KL 正则两点局限；实验覆盖三个 7–8B 开源模型与一个 21B MoE。

   作者指出的局限与后续方向

   • 模型规模：Section 7 指出完整实验协议只覆盖三个规模相近的开源检查点，均在 7–8B 参数范围。
   • WRD-CMAES 无 KL 正则：Section 7 指出 WRD-CMAES 当前实现只消耗式 5 的纯 ASR 目标，尚不支持式 8 的 KL 正则；作者称正在开发在 Optuna 接口中暴露 KL 感知采样目标，计划在未来版本的代码库中加入。

   实验覆盖范围

   • 被测模型：主协议覆盖 Qwen3-8B-Base、OLMo-3-1025-7B、Olmo-3-7B-Instruct 三个 7–8B 开源模型；HarmBench 评估加 Qwen3-8B；规模对比加 21B 的 gpt-oss-20b（附录 I，单次运行）；防御设置用一个第三方 abliterated Llama-3.1-8B 检查点（Section 4.2、5.4、5.5）。
   • 数据规模：有害池为六个公开基准去重合并，候选库固定 N = 128 条训练提示词；无害基线为 400 条，KL 批为 50 条（附录 C）；论文未报告去重后训练/验证/测试集的总条数。
   • 评审方式：三个 guard judge 加 HarmBench 官方分类器，均为自动化二元判定；论文未报告人工评估或 judge 与人工的一致性。
   • 重复次数：Table 1 的干预结果为三次独立重复的均值；RDO-CONE 与 gpt-oss-20b 的行为单次运行（Table 12）；防御设置的 Abliterated 行为单次评估（Table 4）。
   • 优化预算：WRD-CMAES 的查询预算为 n_trials = 50，WRD-GRPO-IS 为 50 epoch、每 epoch 8 个行为策略（附录 F）；效用与 HarmBench 实验只评估对 WildGuard 优化得到的 w⋆（Section 5.3、5.4）。

   收起这一问

6. 06总结一下论文的主要内容

   WRDO 通过学习逐提示词拒答方向的聚合权重构造复合干预方向，作者称其在攻击、效用保持和防御三方面均优于单方向基线。

   一篇关于对齐模型拒答机制干预的攻击论文：作者认为标准的 difference-of-means 单方向构造把异质有害提示词混为一个均值，提出 WRDO——为每个有害训练提示词构造逐层方向组成候选库（N = 128），学习系数向量 w 加权聚合成复合方向，再沿用 Heretic 的权重空间正交化算子一次性编辑模型；优化器有 WRD-CMAES（纯 ASR 目标）和 WRD-GRPO-IS（加 KL 正则的 GRPO 重要性采样变体）两种。

   • 攻击效果：在 Qwen3-8B-Base、OLMo-3-1025-7B、Olmo-3-7B-Instruct 和三个 guard judge 上，作者称两种 WRDO 实例几乎在所有配置下超过 Basic RD、Heretic、RDO；例如 Olmo-3-7B-Instruct 上 α=1.0 时 WRD-GRPO-IS 的 ASR 为 0.92/0.88/0.93（WG/Q3G/LG3），Basic RD 为 0.40/0.42/0.43（Table 1）。
   • 外部验证：HarmBench 分类器（不参与优化）上，Qwen3-8B 的 WRD-GRPO-IS 在 α=3.0 达 0.97，Heretic 为 0.87，Basic RD 最高 0.48（Table 3）；作者据此认为优势不是对训练 judge 的过拟合。
   • 效用保持：α=3.0 时 Qwen3-8B-Base 上 WRD-GRPO-IS 保持 GSM8K 0.83、PPL 11.35，而 Basic RD 的 GSM8K 降到 0.00、PPL 超过 10¹²，WRD-CMAES 的 GSM8K 降到 0.004（Table 2）；作者归因于 GRPO-IS 目标中的 KL 正则。
   • 防御用途：同一机制符号反转后作用于第三方 abliterated 检查点，α=−1.5 时把三 judge ASR 从约 0.85 降到 0.011–0.073，HarmBench ASR 从 0.94 降到 0.02–0.03，Basic RD 在 α=−3.0 前未能恢复拒答（Table 4、11）。
   • 例外与边界：RDO-CONE 在 Qwen3-8B-Base 上以 0.953 对 0.93 领先 WRD-GRPO-IS（Table 12）；作者指出实验只覆盖 7–8B 开源检查点，WRD-CMAES 尚不支持 KL 正则（Section 7）。
   • 作者结论：推荐 WRD-GRPO-IS 对 WildGuard 优化作为审计与防御的默认配置；作者认为拒答行为可能集中在低维内部特征中、在定向干预下较脆弱，不应把拒答当作完整的安全机制，部署需要分层防御（Section 6、9）。

   收起这一问

相关论文