用最优传输实现大语言模型的高效拒答消融

核心问题是：能否把有害激活的整分布映到无害分布，从而绕过写在表示里的拒绝，而不是只删掉一个方向。

• 场景：作者称 RLHF 等对齐把拒绝编进内部表示，但提示或表示被操纵后仍可能生成有害内容。开源权重使攻击者能直接改激活或权重，控制比提示级攻击更细。
• 现有不足：RFA（Arditi et al., 2024）用有害与无害激活的均值差作为单一拒绝方向，再在每一层做秩 1 正交投影。作者认为这只使用一阶均值，忽略方差与协方差，并且依赖全层干预。
• 做法：提出 PCA 与闭式高斯最优传输结合的 PCA-OT，在低维子空间做分布匹配，并只在验证选出的 1–2 层（作者写约网络深度 40–60%）施加仿射变换。
• 威胁模型：
  • 目标：让原本拒绝有害请求的对齐模型改为顺从，并尽量保持生成质量。
  • 能力：可提取残差流最后 token 激活，并在推理时安装前向 hook；不修改权重。映射由有害提示集 H 与无害提示集 S 估计。
  • 受害系统：Llama-2、Llama-3.1、Qwen2.5 的 chat/instruct 模型；chat 模板不含系统提示。
  • 用语：引言将其写成可直接操纵内部激活的威胁模型；第 5.1 节又称为保留参数、只需提示指令的 black-box 攻击。

论文第 5 节把相关工作分成对齐、对抗攻击、推理时控制与最优传输。

对齐及其脆弱性

• RLHF 与 DPO：Ouyang et al. (2022)、Bai et al. (2022) 用人类偏好做 RLHF；Rafailov et al. (2023) 的 DPO 及 Azar et al. (2024)、Ethayarajh et al. (2024)、Meng et al. (2024) 去掉显式奖励模型。
• 输出开头：Sharma et al. (2024) 称安全对齐影响输出前几个 token，并联系后缀攻击（Zou et al., 2023b）、预填充（Li et al., 2025b）和微调攻击（Zhan et al., 2024）。
• 微调：Lermen and Rogers-Smith (2024) 报告良性 LoRA 微调会削弱 Llama 2-Chat 70B 的安全训练；Zhan et al. (2024) 试图用定向微调去掉 RLHF 保护。作者称这些结果说明对齐带来的是脆弱分布变化。

对抗攻击

• 提示级：GCG（Zou et al., 2023b）及 Li et al. (2024a)、Liao and Sun (2024)、Andriushchenko et al. (2025)；可读攻击包括 AutoDAN（Liu et al., 2024）、角色扮演（Shah et al., 2023）和多步分解（Mehrotra et al., 2024）。论文此处只作描述。
• 表示级：Arditi et al. (2024) 用均值差方向做正交投影，并被用于机理分析（Jain et al., 2024）和对抗训练（Yu et al., 2025）。作者称自己改为计算有害与无害激活之间的几何传输映射。引言还列出 Schwinn et al. (2024) 与 Li et al. (2025a)。

推理时控制与 OT

• 转向：Representation Engineering（Zou et al., 2023a）、Contrastive Decoding（Li et al., 2023b），以及 Turner et al. (2023)、Belrose (2023)、Li et al. (2023a)、Rimsky et al. (2024) 的 difference-in-means。协方差相等时，高斯 OT 退化为这种平移。
• AcT：Rodriguez et al. (2025) 对每个特征独立估计一维仿射 OT，用于毒性、真实性与扩散生成。作者称这与本文的多维高斯 OT 不同。
• 其他 OT：Bhagoji et al. (2019) 用类间最小传输代价给出对抗鲁棒下界；GiLOT（Li et al., 2024b）度量词表分布变化；AOT（Melnyk et al., 2024）用一维 OT 对齐偏好。作者称据其所知，此前没有把 OT 用于语言模型对抗攻击，并称本文是表示层越狱中高斯 OT 的首次应用。

基线与数据

• 基线方法：RFA（最后 token 均值差，推理时全层投影）和 AcT。
• 基准：有害数据来自 ADVBENCH、MALICIOUSINSTRUCT、TDC2023、HARMBENCH；无害数据为 ALPACA；ASR 使用与 Arditi et al. (2024) 相同的 HARMBENCH 测试集。

作者把本文放在推理时、不改参数的表示层攻击上：相对一维投影和逐维仿射，使用低秩多维高斯 OT，并只干预验证选出的少数层。

整体是 PCA-OT：把表示层越狱写成分布匹配，用低秩仿射映射把有害激活推到无害激活，再只挂在少数层上。

问题设定

• 对象：层 ℓ 的残差流、最后 token 激活，维数为 d。作者称现代语言模型的 d 通常为 4096 到 8192。有害集 H、无害集 S 的激活记为 XH、XS。
• 对照形式：RFA 的方向是两均值之差，投影去掉该方向上的分量，相当于对恒等映射做秩 1 扰动。作者认为它不处理方差、协方差或更高阶差异。
• 目标：学习逐层映射，把有害经验分布前推到无害经验分布，并最小化搬运代价。

高斯最优传输

• 闭式映射：两分布都当作高斯时，最优映射为 T(x)=Ax+b。A 由源、目标协方差的矩阵平方根闭式给出，b 把变换后的源均值对齐到目标均值。
• 特例：两协方差相等时 A 为单位阵，映射退化为均值平移，即 difference-in-means。RFA 不是做这个平移，而是删掉该方向上的分量。
• 设计含义：A 同时改位置和协方差。作者认为这能覆盖投影方法忽略的多维几何。

PCA 降维与提升

• 原因：作者称样本量通常为数百、维数为数千时，经验协方差病态，高维矩阵平方根又贵且不稳定。
• 步骤：用样本量加权的池化均值居中，对合并矩阵做 SVD，取前 k 个右奇异向量。在 k 维估计高斯 OT，再提升回原空间：满秩矩阵由投影矩阵夹住低维 A，平移仍用原空间均值对齐。推理时对激活做这一仿射变换。
• k：作者称 k 小则少拟合噪声，但可能漏掉分布差异；k 大则易拟合训练激活中的噪声。验证时搜索 1、2、3、5；Qwen2.5-14B 还包含 10（Table 7）。
• 复杂度：第 2.4 节写估计约为 O(nh·dk + ns·k^2 + k^3)，每 token 每层应用约为 O(dk^2 + k^3)。作者称中等 k 与一维方法同量级。附录 A.1.2 写成 max 形式，与正文不完全相同。

选层与流程

• Algorithm 1：训练阶段对指定层范围逐层提取未改模型的激活，并独立估计映射；推理阶段只在这些层安装 hook。
• 1–2 层：作者不沿用全层干预。验证集上为 AcT 和 PCA-OT 选 1–2 个连续层；RFA 只从一个层提取方向，但推理时仍投影所有层。Table 7 的搜索区间大约在中部，例如 Llama-2-7B（32 层）为 11–20，Qwen2.5-32B（64 层）为 27–37。
• 数据位置：沿用 Arditi et al. (2024)：128 条训练样本估计参数，32 条验证样本调超参；激活取最后 token；chat 模板无系统提示。论文未把 128 拆成有害、无害各自的条数。

成功判定

• 主指标：LlamaGuard-2 将输出判为有害的测试提示比例，即 LlamaGuard ASR。
• 辅指标：对照 Arditi et al. (2024) 的拒绝短语做子串匹配。作者称模型可以不出现拒绝短语仍给出有害内容，从而绕过该指标。
• 效用：Pile 上的一般语言建模困惑度，以及 Alpaca 上的指令跟随困惑度；越低表示越接近原模型的文本分布。

实验设置

• 模型：Llama-2-7b-chat-hf（32 层）、Llama-2-13b-chat-hf（40 层）、Llama-3.1-8B-Instruct（32 层）、Qwen2.5-7B/14B/32B-Instruct（28/48/64 层）。
• 数据：有害样本聚合自 ADVBENCH、MALICIOUSINSTRUCT、TDC2023、HARMBENCH；无害样本来自 ALPACA。128 条训练、32 条验证。测试为 HARMBENCH，协议与 Arditi et al. (2024) 相同；附录写 159 条测试提示。
• 方法：无干预；RFA；AcT；单层 PCA-OT1；两层 PCA-OT2。层与 k 的搜索范围见 Table 7。
• 指标：LlamaGuard-2 的 ASR 为主；拒绝短语子串 ASR 为辅；Pile PPL 与 Alpaca PPL 衡量效用。
• 重复：Table 1 为 4 个 seed 的均值±标准误。层敏感性与 K 表未报告 seed 或标准误。论文未报告解码温度、最大长度和显著性检验。
• 硬件：附录 A.1.2 写 4×NVIDIA H100（80GB），推理 bfloat16，激活提取与 OT 用 float32。

主结果

下表为 Table 1 的 LlamaGuard ASR（%）。标准误见原表，此处只列均值。

Swipe horizontally to read the table

模型	无干预	RFA	AcT	PCA-OT1	PCA-OT2
Llama-2-7b-chat-hf	0.62	70.65	74.95	77.12	80.42
Llama-2-13b-chat-hf	1.26	46.49	78.51	79.25	83.81
Llama-3.1-8B-Instruct	1.64	72.69	74.32	74.69	83.49
Qwen2.5-7B-Instruct	8.17	77.94	75.05	79.40	81.76
Qwen2.5-14B-Instruct	3.14	79.45	59.96	84.43	83.81
Qwen2.5-32B-Instruct	8.80	57.55	35.17	45.75	75.94

• 作者解读：Llama 家族上 PCA-OT1 高于 RFA 与 AcT，且 Pile PPL 接近无干预，例如 Llama-2-13B 为 8.41，对照 AcT 的 11.16、无干预 8.01。作者称单层即可超过 RFA 的全层投影。
• 并非每格都更高：Qwen2.5-32B 上 PCA-OT1 为 45.75%，低于 RFA 的 57.55%。作者称 PCA-OT2 相对 RFA 在 Qwen2.5-7B/14B/32B 上高 3.8、4.4、18.3 个百分点。两层有时抬高困惑度：Llama-2-7B 的 Pile PPL 为 15.93±1.22，对照无干预 9.21；Qwen2.5-7B 的 Alpaca PPL 为 24.66±17.61，对照 RFA 的 6.51±0.02。
• 正文与表不一致：正文写 Qwen2.5-14B 的 PCA-OT1 为 69.81%，低于 RFA 的 79.45%；Table 1 为 84.43±3.45，高于 79.45±0.88。摘要称最高比 SOTA 高 11% 且困惑度相当；Table 1 未单列 11 这个差，且部分设置困惑度升高。作者称 PCA-OT1 相对 AcT 的改进从 +2.17 到 +10.58 个百分点；Table 1 中 Llama-2-13B 为 79.25% 对 78.51%，Llama-3.1-8B 为 74.69% 对 74.32%，Qwen2.5-14B 为 84.43% 对 59.96%。

同层对照

• 测了什么：Table 2 在 Llama-2-13B-chat-hf 上，把各方法放到同一干预层，以区分选层和传输本身。
• 结果：RFA 最优层 24 上，RFA / AcT / PCA-OT 的 ASR 为 46.5 / 71.1 / 75.5，Pile PPL 为 8.06 / 10.07 / 8.95。AcT 最优层 22 上为 26.4 / 77.4 / 78.6，PPL 为 8.13 / 10.62 / 8.84。表中无标准误。
• 作者解读：作者称 PCA-OT 的优势不是选层造成的；困惑度与 RFA 相当，并低于 AcT。

层深度、成分数与几何

• 层：Table 3 与 Table 5，k=2。Llama-2-13B 峰值在层 17（深度 42.5%），ASR 82.4%，PPL 8.59；层 5 为 0.6%。Qwen2.5-14B 峰值在层 30（62.5%），ASR 66.7%，PPL 12.12；层 45 降到 23.3%。作者认为拒绝在中层形成局部几何，Qwen 更深、更分散。Figure 4 标注了同样的最优点。
• K：Table 4，Llama-2-13B，K=1/2/5/10 的 LlamaGuard ASR 为 81.1/82.4/80.5/76.1，子串 ASR 为 95.0/94.3/98.7/100.0，Pile PPL 为 8.50/8.59/12.2/45.1。Table 6，Qwen2.5-14B，对应 ASR 为 73.6/73.0/81.8/67.3，PPL 为 7.21/11.6/19.2/132.9。作者称中等 K 在攻击与拟合噪声之间更合适。
• 深层失败：Table 5 中 Llama-2-13B 层 38（95% 深度）ASR 81.8%，PPL 14.90。附录称该深度出现单短语重复，词汇多样性低于 0.01；Table 13 注记层 32 的多样性为 0.076、ASR 74.8%，层 17 为 0.548、ASR 82.4%。作者称只看 ASR 会把生成崩溃计为成功。Figure 1 为 Qwen2.5-14B 层 28 的二维 PCA；作者称 OT 后有害点与无害分布在均值和协方差上重叠，RFA 沿第一主成分压扁方差。纯文本看不到点的像素位置。

能力、类别与耗时

• 能力：Table 9 只报告 Llama-2-13B-chat。无干预到 PCA-OT1：MMLU 53.15 到 52.86，TruthfulQA 43.95 到 41.78，ARC-C 46.16 到 43.94，GSM8K 27.98 到 21.38。作者称与无干预相当，落在 1–6% 以内；论文未给出 GSM8K 这一差。
• 类别：Table 10，Qwen2.5-14B，层 26–28，k=1。化学/生物 25 条 92.0%，网络犯罪 30 条 86.7%，骚扰 28 条 85.7%，非法活动 35 条 88.6%，虚假信息 22 条 81.8%，其他 19 条 84.2%。作者称各类较一致，针对的是一般拒绝机制。
• 耗时：Table 8，Llama-2-13B、159 条测试。估计时间 RFA / AcT / PCA-OT1 为 0.01 / 0.30 / 0.37 秒；推理为 2760 / 2128 / 2133 秒。作者称推理差异主要来自 RFA 干预全部 40 层，而另两种只干预 1 层。

其他消融与分析

• Figure 2：Llama-2-13B 层 17、Qwen2.5-14B 层 28；正文称前 3 个主成分解释至少 40% 方差，图注写 40%。
• Figure 3：协方差余弦相似度随 K 上升；图上有 0.020、0.049 直到 0.910、0.955 等标注，纯文本未把每个数对应到模型。
• 作者写深度不超过 30% 时 ASR 低于 5%；Table 5 中 Llama-2-13B 层 11（深度 27.5%）为 34.0%，层 8（20%）为 4.4%。
• Qwen2.5-14B 的 PCA-OT1 在 Table 1 为 84.43±3.45，在 k=2 的层扫描峰值仅为 66.7%（Table 3），二者设置不同。
• Table 1 中 Llama-2-13B 与 Qwen2.5-14B 的 PCA-OT2 均为 83.81±0.16；正文对后者也写 83.81%。
• 附录 A.3 把池化 PCA 与 Fisher 判别方向联系起来，并写出 Wasserstein-2 的均值项与协方差项；没有新的攻击数字。

作者指出的局限与后续方向

• 规模：第 4.4 节写最大模型 Qwen2.5-32B 对所有攻击更抗，作者给出 75.9% ASR，对照较小模型的 80–84%，并认为规模可能通过更分散的安全机制带来鲁棒性。
• 防御：第 4.4 节写评测未包括 RepNoise（Rosati et al., 2024）、latent adversarial training（Yu et al., 2025）和 Vaccine（Huang et al., 2024）。作者称补上这些评测才能看清分布传输对对抗训练模型是否仍有效。
• 位置池化：第 4.4 节写只提取最后 token；均值池化或注意力加权池化或许能减轻对位置噪声的过拟合。
• 高斯假设：第 4.4 节与结论写方法假设激活近似高斯；可视化呈现高斯性。作者把非高斯情形下的神经 OT，以及能打破分布假设的防御架构，列为后续问题，并称计算代价会更高。
• ASR 指标：附录 A.2.3 称只看 ASR 有局限，深层干预名义 ASR 高，但文本可以没有语义。

实验覆盖范围

• 被测模型为 Llama-2-7B/13B-chat、Llama-3.1-8B-Instruct、Qwen2.5-7B/14B/32B-Instruct，共 6 个（第 3.1 节、Table 1）。
• 基线为 RFA 与 AcT；主指标为 LlamaGuard-2 ASR，辅以拒绝短语子串匹配；效用为 Pile 与 Alpaca PPL。Table 1 报告 4 个 seed 的均值±标准误。
• 训练 128 条、验证 32 条；测试为 HARMBENCH，附录写 159 条测试提示；chat 模板无系统提示。
• 层与 K 扫描主要在 Llama-2-13B 和 Qwen2.5-14B；同层对照只在 Llama-2-13B（Table 2）；能力基准只报告 Llama-2-13B（Table 9）；类别 ASR 只报告 Qwen2.5-14B、层 26–28、k=1（Table 10）。
• 论文未报告显著性检验、LlamaGuard-2 与人工判定的一致性，以及解码温度和最大生成长度。耗时只在 Llama-2-13B、159 条上报告（Table 8）。

PCA-OT 是一种表示层越狱：用低秩高斯最优传输，把有害提示的残差流激活分布映到无害分布。

• 问题：作者认为对齐把拒绝编进表示，而 RFA 只删均值差方向并干预所有层，忽略协方差，也默认拒绝分布在全网。
• 方法：池化均值居中后取前 k 个主成分，在子空间计算闭式映射 T(x)=Ax+b，再提升回原空间。推理时只对验证选出的 1–2 层加仿射 hook，不改权重。成功与否主要由 LlamaGuard-2 判定。
• 主结果：Table 1、4 个 seed、HARMBENCH。PCA-OT2 的 LlamaGuard ASR 在 Llama-2-7B 为 80.42%，Llama-2-13B 为 83.81%，Llama-3.1-8B 为 83.49%，Qwen2.5-7B 为 81.76%，Qwen2.5-32B 为 75.94%（RFA 为 57.55%）。Qwen2.5-14B 上 Table 1 的 PCA-OT1 为 84.43%，高于 RFA 的 79.45%；正文写的 69.81% 与表不一致。
• 例外：Qwen2.5-32B 的 PCA-OT1 为 45.75%，低于 RFA。两层有时抬高困惑度，如 Llama-2-7B 的 Pile PPL 15.93，Qwen2.5-7B 的 Alpaca PPL 24.66。k=2 时，Llama-2-13B 在层 17（深度 42.5%）ASR 为 82.4%；过深则出现重复、困惑度升到 14.90。
• 作者结论：作者认为同时匹配位置和协方差优于单纯删方向，拒绝机制集中在约 40–60% 深度，当前对齐可能经不起超出一维删除的分布攻击。他们同时写明未评 RepNoise 等防御，且依赖近似高斯和最后 token。