通过选择性几何控制重新审视 LLM 安全对齐的鲁棒性

偏好优化下的安全对齐在域偏移和噪声偏好中仍然脆弱，现有稳健方法主要处理数据、不处理优化几何。

• 场景：作者认为 RLHF 与 DPO 等偏好优化已成为安全对齐的常用做法，但在域偏移或噪声偏好监督下，训练表现好的模型仍会给出不安全回答。
• 现有不足：数据选择、边际重加权，以及对偏好分布做分布鲁棒优化，主要针对监督不确定性。作者认为这些方法把稳健性失败归因于数据，而尖锐的对齐景观会放大偏好噪声。
• 观察：作者按与探针安全方向的相似度排序神经元。Figure 1 比较 Top-K、Random-K、Bottom-K 对最坏情况对齐损失增量的累计占比；作者称扰动不足 0.5% 的安全关键神经元已占该增量的 80% 以上。
• 做法：提出 ShaPO，只在对齐关键参数子空间上优化最坏情况对齐目标，并实例化为 token 级与奖励级。作者称它针对优化引起的脆弱性，可与数据侧稳健目标叠加。

作者按偏好对齐、数据侧稳健和几何稳健来定位本文。

偏好对齐

• RLHF（Christiano et al., 2017; Ouyang et al., 2022; Bai et al., 2022）：用奖励建模和策略优化，让模型偏好安全回答。作者称其计算成本高，且可能对噪声监督敏感（Gao et al., 2023）。
• DPO（Rafailov et al., 2023）：把对齐写成偏好对上的监督学习，不显式使用奖励模型或强化学习。后续包括组相对或多目标优化（Shao et al., 2024; Guo et al., 2025; Zhao et al., 2025a）。
• 作者称，偏好安全对齐在分布偏移或对抗提示下的泛化仍然有限（Wei et al., 2024）。

数据侧稳健

• 噪声与分布鲁棒目标：IPO（Gheshlaghi Azar et al., 2023）、cDPO（Mitchell, 2023）、rDPO（Chowdhury et al., 2024）、Dr.DPO（Wu et al., 2024），以及 WDPO、KLDPO（Xu et al., 2026）、DoRA（Zhu et al., 2025a）和 BalDRO（Shao et al., 2026）。
• 数据选择与过滤：奖励边际（Deng et al., 2025; Huang et al., 2025）、外部引导（Zhang et al., 2025）、学习准则（Gao et al., 2025）和隐式边际（Liu et al., 2026）。引言还提到 Kong et al. (2024)、Yeh and Li (2025)。
• 作者认为这些方法主要在数据层处理噪声和偏差，并假设参数空间中的优化动态稳定，因而参数空间稳健性尚未被系统处理。

几何与安全局部性

• SAM 一类方法（Foret et al., 2020; Bahri et al., 2021）：在参数邻域内控制最坏损失，通常对全参数做均匀约束。作者引用 Ghorbani et al. (2019)、Mi et al. (2022) 等，称敏感度是各向异性的，损失变化集中在少数方向。
• 安全表示的局部性：Wei et al. (2024)、Zhao et al. (2025b) 讨论安全行为集中于少量内部表示；Lee et al. (2024) 分析 DPO 与毒性相关的 value 向量。作者认为均匀约束容易过度约束与安全无关的参数（Niu et al., 2025; Perin et al., 2025）。
• 作者称几何稳健优化尚未被系统地用于偏好安全对齐，优化敏感度会放大残余噪声或分布偏移。

基线与基准

• 基线方法：Vanilla LLM、SFT、DPO、IPO、cDPO、rDPO、Dr.DPO。
• 基准：在 PKU-SafeRLHF-30K 上训练并做同分布评测；域偏移使用 Do-Not-Answer、HarmBench、HH-RLHF-Safety、SaladBench。噪声设置沿用 Wu et al. (2024) 的标签翻转。

作者把优化几何视为与数据不确定性互补的轴：只稳定对齐关键方向，并与数据侧目标组合。

ShaPO 只在安全关键参数子空间上最小化最坏情况对齐损失，避免对全部参数做均匀几何约束。

对齐目标

• 偏好数据为三元组 (x, y^w, y^l)。DPO 的隐式奖励为 r_θ(x, y) = β log(π_θ(y|x) / π_ref(y|x))，一般偏好目标记为 L_align(θ)。
• 全参数版本在 ||ε||≤ρ 内最大化 L_align(θ+ε)。ShaPO 把扰动限制在子空间 S：L_ShaPO(θ)=max_|ϵS|≤ρL_align(θ+ϵ_S)。它表示只沿安全关键方向做半径 ρ 的最坏扰动，并优化扰动后的对齐损失。
• 对可微损失和小 ρ，作者用二阶展开说明该目标会压低安全子空间上的梯度范数和最大 Hessian 特征值 λ_max(H_S)。附录 C 讨论 PAC-Bayes 形式的泛化界，以及风险阈值 τ 下的 bypass 边界；作者称降低 λ_max(H_S) 会扩大该边界。

安全关键子空间

• 取最后一层 Transformer 残差流表示 h，训练线性探针 p，最小化 logistic loss。正文中 y ∈ {+1, −1}，表示回答被标为安全或不安全。
• 关注各 block 的 value 向量 v_j。正文相似度是内积 ⟨v_j, p⟩；Algorithm 1 使用绝对值；附录 E.1 写余弦相似度，并定义 p = w_1 − w_0。取得分最高的参数构成 S。
• 作者称保守选择 Top-1% 神经元，以覆盖 90% 以上的最坏情况损失。Figure 1 使用同一套探针 Top-K 流程。
• 附录 E.1：骨干冻结，在 PKU-30k 上以 harmless 为标签训练探针。Figure 7 给出四个骨干十个 epoch 的 loss 与 accuracy，正文未给出准确率。Table 7 列出探针解码的 Top-20 token，这里不复述。

两级实例

• ShaPO-T：把选择性几何控制加到 token 似然型目标。文中以 DPO 为例，并称可用于 rDPO、Dr.DPO 等。扰动后策略进入 chosen 与 rejected 的逐 token 对数概率，再经 β 和 sigmoid。不需要显式奖励模型。
• ShaPO-R：预训练奖励模型 R_φ 给出标量分数。软标签为奖励差经过 β_r 和 sigmoid；策略用自身分数差的 sigmoid 作为偏好概率，损失为二元交叉熵，再对该损失在子空间内取最坏值。
• 实验用 PKU-Alignment/beaver-7b-v1.0-cost。它原为 cost 模型，作者对输出取负，使更高值对应更无害。实验取 β_r = 10。附录 Figure 6 还画了 β_r 为 0.1、1、10 时 PKU-30K 上的 sigmoid 分布。
• 作者给出的理由是：奖励级目标定义在偏好概率而非 token 似然上；优化保持离线，同时与在线 RLHF 有结构联系；外部奖励可缓解 token 级标注噪声。

训练步骤

• 受 SAM 启发，分两次前向–反向。先算 g_S = ∇_{θ_S} L_align(θ)，再取扰动 ϵ_S=ρ· g_S/(|g_S|₂+ε)，落在以 θ_S 为中心的 L2 球面上。Algorithm 1 把稳定项写成 10^{-12}。
• 第二步用扰动参数上的梯度更新全部 θ。
• 为减少开销，不是每步都做该更新。正文写每 T 步一次；Appendix D.3 设 τ = 5。Algorithm 1 在 t mod τ = 0 时用扰动梯度，否则用未扰动梯度。
• 各偏好方法共用 β = 0.1、学习率 5×10^{-7}。Dr.DPO 另设 β′ = 1.0。论文未给出实验使用的 ρ。

实验设置

• 骨干：Pythia-2.8B、LLaMA-3.2-3B、LLaMA-3-8B、Qwen2.5-7B。奖励级使用 beaver-7b-v1.0-cost。
• 数据与基准：在 PKU-SafeRLHF-30K 上训练。同分布评测用该数据集；域偏移评测 Do-Not-Answer、HarmBench、HH-RLHF-Safety、SaladBench。论文未报告各基准样本量。
• 基线：Vanilla、SFT、DPO、IPO、cDPO、rDPO、Dr.DPO。
• 指标与评审：WR 越高越安全，由 GPT-4.1-mini 判定，temperature 0.7。ASR 越低越安全，评审为 MD-Judge-v0_2-internlm2_7b（MD）和 NVIDIA Llama-3.1-Nemotron-Safety-Guard-8B-v3（NV），推理 temperature 0.0、top_p 1.0。论文未报告与人工的一致性或重复次数。
• 噪声协议：按 Wu et al. (2024) 对训练偏好做受控标签翻转，正文写 0% 到 40%，在干净验证集上评 WR。4.4 节未写明验证集名称。
• 实现：Pythia-2.8B 与 LLaMA-3.2-3B 用 2 张 H100、batch size 128；另两个骨干 batch size 32；梯度累积 2 步。论文未给出 epoch 数和 ρ。

主结果

下表是四个域外基准、MD 与 NV 的平均 ASR，越低越安全。前两行据 Table 2，后两行据 Table 8。均在 PKU-SafeRLHF-30K 上训练。表中未列 Vanilla、SFT、IPO、cDPO。

表格较宽，可左右滑动

骨干	DPO	rDPO	Dr.DPO	ShaPO-T	ShaPO-R
LLaMA-3-8B	22.85%	3.97%	2.09%	1.37%	0.70%
Qwen2.5-7B	14.39%	3.18%	1.05%	0.42%	0.55%
Pythia-2.8B	41.21%	39.67%	23.90%	7.71%	6.91%
LLaMA-3.2-3B	8.58%	3.27%	1.20%	0.59%	0.99%

• 作者称数据侧方法不能单独解决域偏移下的稳健性失败。表中 Qwen2.5-7B 与 LLaMA-3.2-3B 上，平均 ASR 更低的是 ShaPO-T 而不是 ShaPO-R，与“ShaPO-R 在两个骨干上都取得最低平均 ASR”不完全一致。
• Table 2 中 LLaMA-3-8B 的 Vanilla、SFT 平均 ASR 为 46.27%、64.03%，Qwen2.5-7B 为 23.02%、62.37%，均高于同表 DPO。作者未解释 SFT 高于 Vanilla。
• 作者称 ShaPO-R 在 HH-RLHF 与 SaladBench 上优于 Dr.DPO 和 rDPO。Table 2 中相对这两个基线成立；Qwen2.5-7B 的 HH-RLHF 上，ShaPO-T 的 MD 为 1.09%，ShaPO-R 为 1.31%。LLaMA-3-8B 的 Do-Not-Answer 上，ShaPO-T 的 NV 为 0.11%，Dr.DPO 为 0.00%。

同分布对齐

• Table 1 在 PKU-SafeRLHF-30K 上训练并评测。ShaPO-T 的 WR 为：Pythia-2.8B 56.14%，LLaMA-3.2-3B 85.88%，LLaMA-3-8B 85.45%，Qwen2.5-7B 89.26%，均高于同表基线。ShaPO-R 的 WR 在 Pythia-2.8B 为 57.14%，在 LLaMA-3-8B 为 87.45%，高于对应的 ShaPO-T。
• LLaMA-3-8B 上 ShaPO-R 的 MD/NV 为 1.13%/0.13%，ShaPO-T 为 2.76%/0.13%。Qwen2.5-7B 上 ShaPO-T 的 MD 为 0.75%，ShaPO-R 为 1.13%；NV 分别为 0.13% 与 0.00%。作者称 ShaPO-R 在较大骨干上进一步降低 MD 和 NV，Qwen 的 MD 与此不完全一致。
• SFT 的 WR 在三个较大骨干上低于 Vanilla。LLaMA-3-8B 上为 23.85% 对 42.82%。作者未解释。

噪声监督与组合

• 作者称翻转比例升高时 DPO 的 WR 下降，数据侧变体有所缓解但仍下降；ShaPO-R 在全部翻转比例上最高，40% 翻转时仍高于基线。4.4 节写 Figure 5，Figure 3 图注对应 10%、20%、40% 翻转，坐标文字含 0%；Figure 5 图注是神经元比例。正文未给出这些 WR 数值。
• 作者把高翻转率下 ShaPO-R 的优势归于外部奖励与被破坏的偏好标签解耦。
• Figure 4 在 Pythia-2.8B 与 LLaMA-3.2-3B 上把 ShaPO 叠到 DPO 及其变体，指标是相对 chosen response 的 WR。作者称在已有数据侧目标之上仍有增益。正文未逐方法列出数值。

几何、曲率与奖励消融

• Table 3 在 LLaMA-3-8B、DPO 损失上比较控制位置。IID 的 MD/NV：无控制 26.57%/14.41%，随机 26.89%/14.34%，均匀 25.56%/13.03%，选择性 27.32%/13.91%。OOD 平均 MD/NV：28.78%/16.91%、28.56%/16.87%、26.83%/15.12%、26.31%/14.12%。作者称 IID 下接近，OOD 下选择性最低。这组数字与 Table 1 的 ShaPO-T（MD 2.76%）不是同一结果。
• Table 4：LLaMA-3-8B 的 Max HE 从 Base 25.2336、DPO 14.9509、Dr.DPO 9.4993 到 ShaPO-T 6.2466；WR 为 42.82%、69.19%、82.50%、85.45%。作者称曲率下降与更高 WR 同时出现。
• Table 5 把 ShaPO-R 分别接在 DPO 与 Dr.DPO 上。DPO 路径的 IID MD/NV：DPO 26.57%/14.41%，DPO+Reward 18.42%/8.40%，ShaPO-R 16.32%/7.52%；OOD 平均为 28.78%/16.91%、17.33%/7.02%、15.98%/6.26%。Dr.DPO 路径的 IID：4.39%/0.50%、3.38%/0.38%、1.13%/0.13%；OOD 平均 3.72%/0.45%、2.25%/0.35%、1.30%/0.09%。作者称奖励监督与几何控制来源不同，并称增益来自优化几何而非更强监督。

其他消融与分析

• 神经元比例：作者称 LLaMA-3-8B 上四基准平均 ASR 从 Top-0.01% 到 Top-1% 下降，Top-1% 最低，再增大后回升（Figure 5）。正文未给出各比例的 ASR。
• 运行时间（Table 6，mins）：DPO 系列 / ShaPO-T / ShaPO-R 在 Pythia-2.8B 为 16/21/30，LLaMA-3.2-3B 为 18/24/35，LLaMA-3-8B 为 46/89/99，Qwen-2.5-7B 为 44/85/95。
• 探针曲线见 Figure 7；正文未报告最终 accuracy。

作者指出的局限与后续方向

• 几何感知优化带来额外计算开销。作者把提高这类方法的效率与可扩展性列为后续方向，并特别提到更大规模模型（Conclusion）。
• 对齐关键方向的识别必然基于近似信号。作者同时称，即便是粗粒度几何线索也能改善安全稳健性（Conclusion）。

实验覆盖范围

• 被对齐骨干为 Pythia-2.8B、LLaMA-3.2-3B、LLaMA-3-8B、Qwen2.5-7B，共 4 个；训练数据为 PKU-SafeRLHF-30K（Section 4.1）。
• 评测包括该数据集上的同分布结果，以及 Do-Not-Answer、HarmBench、HH-RLHF-Safety、SaladBench。ASR 用 MD 与 NV，WR 用 GPT-4.1-mini（Section 4.1、Appendix D）。
• 噪声翻转在正文中为 0% 到 40%，Figure 3 的骨干是 Pythia-2.8B 与 LLaMA-3.2-3B。域偏移主表是 LLaMA-3-8B 与 Qwen2.5-7B（Table 2），较小骨干见 Table 8。
• 控制策略、神经元比例、Hessian 和奖励监督消融报告在 LLaMA-3-8B 上（Table 3–5、Figure 5）。与数据侧目标的组合报告在 Pythia-2.8B 与 LLaMA-3.2-3B 上（Figure 4）。奖励模型为 beaver-7b-v1.0-cost。
• 论文未报告各基准样本量、重复次数、扰动半径 ρ 的取值，以及评审与人工判定的一致性。Appendix D 写明 β = 0.1、学习率 5×10^{-7}、τ = 5、β_r = 10。

ShaPO 是一种几何感知的偏好优化，用来处理安全对齐在域偏移和噪声偏好下的脆弱性。

• 作者认为稳健性失败不全来自监督噪声：尖锐的对齐损失会放大偏好数据中的小扰动。他们用线性探针在最后一层残差流上定位与安全相关的 value 向量，取 Top-1%，只在该子空间做最坏扰动。
• ShaPO-T 改 DPO 类 token 似然损失；ShaPO-R 改由 beaver-7b-v1.0-cost 取负后得到的偏好概率损失。更新方式来自 SAM，Appendix D.3 中每 5 步做一次扰动更新。
• 在 PKU-SafeRLHF-30K 上训练后，LLaMA-3-8B 四个域外基准的平均 ASR，ShaPO-R 为 0.70%，Dr.DPO 为 2.09%，DPO 为 22.85%（Table 2）。Qwen2.5-7B 上 ShaPO-T 为 0.42%，ShaPO-R 为 0.55%。
• 同分布下，LLaMA-3-8B 的 ShaPO-R WR 为 87.45%，MD/NV 为 1.13%/0.13%（Table 1）。该骨干上 Max HE 从 Base 的 25.2336 到 ShaPO-T 的 6.2466（Table 4）。Pythia-2.8B 的域外平均 ASR 仍为 6.91%–7.71%（Table 8）。
• 作者称优化几何是数据侧方法之外的互补轴，与数据侧目标叠加还有额外增益。结论同时指出额外计算开销，以及关键方向识别依赖近似信号。