Attributing and Exploiting Safety Vectors in Large Language Models via Global Optimization

对齐 LLM 的安全护栏仍然脆弱，而局部贪心归因看不到注意力头如何一起维持安全。

• 场景：作者称模型虽用 RLHF 与 DPO 对齐，仍会被越狱和模型编辑攻破；这对应着对管控安全的架构组件理解有限。
• 现有不足：已有因果干预把安全归到层、神经元或单个注意力头，但通常假设组件贡献独立，忽略信息流动中组件功能彼此依赖。
• 假设：受 Function Vectors 启发，作者假设安全行为可编码为若干注意力头传输的 safety vectors，即一组激活捕获的隐式安全表示。
• 做法：提出 GOSV，对全部注意力头同时优化；用两种激活重贴得到 Malicious Injection Vectors 与 Safety Suppression Vectors，并在推理时重贴这些向量做越狱。
• 威胁模型：
  • 目标：绕过安全对齐，使模型产生有害输出。论文把结果记为攻击是否成功。
  • 知识：论文写作 inference-time white-box jailbreak；Limitations 写明 activation patching 需要 white-box access。
  • 能力：不做 prompt engineering 或 query modification，也不改参数；只在最后 token 替换已识别头的激活。
  • 受害系统：实验对象是四个开源对齐聊天模型。成功由 HarmBench-Llama-2-13b-cls 判 yes/no。论文未写查询预算。

越狱攻击

• 优化式后缀与目标：GCG（Zou et al., 2023）搜索对抗后缀；AdvPrefix（Zhu et al., 2024）调整越狱目标；DSN（Zhou et al., 2025）抑制拒答。论文在实验中把它们当作 white-box 基线，Related Work 未逐篇批评。
• 可读提示与语境：AutoDAN（Liu et al., 2023）用遗传算法生成可读提示；同段还提到迭代精炼（Chao et al., 2025; Mehrotra et al., 2024）、嵌套情景（Li et al., 2023）、多轮升级（Russinovich et al., 2025）和伪装意图（Zheng et al., 2025）。论文只描述这些做法。
• 表示层关掉拒绝：ORTHO（Arditi et al., 2024）把拒绝方向正交化。论文将其列为 white-box 基线。

注意力头上的安全归因

• 打分与监测：Zhou et al.（2024b）提出 Safety Head Importance Score，论文称其指出安全集中在稀疏 safety heads。Hung et al.（2025）的 Attention Tracker 监测注意力流以检测提示注入。
• 改注意力：DeTAM（Li et al., 2025）在推理时改注意力做防御；AGD（Pan et al., 2025a）用变和博弈调整越狱敏感头的权重；Banerjee et al.（2025）按语言操纵特定头，做多语言安全对齐。
• 作者对这一组的批评：作者称这些方法定位安全关键头时用局部、贪心归因，把头当作独立单元，忽略相互依赖。批评挂在整组，而不是单篇的其他缺陷。

机制解释与对齐训练

• 表征与因果干预：引言列举把内部表示映到概念的工作（Zhou et al., 2024a; Pan et al., 2025b; Wollschläger et al., 2025; Zhao et al., 2025a），以及归因到安全层（Li et al., 2024）、安全神经元（Chen et al., 2024; Zhao et al., 2025b）或注意力头的干预。作者称这类做法通常依赖局部贪心归因。
• Function Vectors：Todd et al.（2023）把任务写成可由特定注意力头传输的紧凑表示。作者称 GOSV 受此启发。相互依赖的依据引用了 Elhage et al.（2022）、Fakhar and Hilgetag（2022）、Giallanza et al.（2024）。
• 对齐：引言提到 RLHF（Ouyang et al., 2022）与 DPO（Rafailov et al., 2023）。二者不是实验基线。

基线与基准

• 基线方法：§4.1 的 white-box 对照为 GCG、AutoDAN、AdvPrefix、DSN、ORTHO。§5 另与 Ships（Zhou et al., 2024b）和同一训练数据上的微调 FT 比较。
• 基准：AdvBench 与 StrongREJECT。附录 E.2 的良性重贴用 Alpaca 前 100 条。

作者把本文放在局部归因对面：用全局优化同时对全部注意力头做安全归因，以捕捉分布式、相互依赖的安全机制。

GOSV 不微调参数。它在推理时重贴注意力头激活，并用全局优化找出能把输出推向有害目标回复的头集合；攻击再复用这些位置和重贴值。

干预对象

• 多头注意力按式 (1)(2) 计算。干预对象是层 l、头位置 h 在最后 token 的输出 z，维度为头维。作者称最后 token 对自回归生成关键，依据为 Todd et al.（2023）。
• 重贴定义为 z_l,h ← μ_l,h，即用重贴值替换该激活，并让它流入后续层。

两种重贴

• Harmful Patching：对各头最后 token 的激活取恶意指令上的均值，作为 μ。实验取 N=1000，作者称这是 100 条训练样本的 10 倍（§4.1）。由此得到的位置-值对称为 Malicious Injection Vectors。
• Zero Ablation：被选中头的 μ 置 0，以切断这些头的信息流。对应集合称为 Safety Suppression Vectors。
• 附录 E.2 另定义了对照用的 Benign Patching（Alpaca 前 100 条的均值）和 Random Patching（与有害激活同均值、同标准差的高斯采样）。它们不进入主攻击。

全局选头

• 每个头有参数 θ，按 Bernoulli(σ(θ)) 决定是否重贴。与逐头贪心不同，采样覆盖全部头的组合。
• 每轮采 K=32 个配置，训练 E=500 个 epoch，Adam，学习率 0.1。损失为 L=1−CosSim(ŷ, R)，即生成回复与目标有害回复的语义距离；嵌入来自 all-MiniLM-L6-v2（384 维）。
• 目标回复由未对齐 base models 对有害查询生成，论文未点名这些模型。训练集为 AdvBench 中 100 对查询与目标回复。训练时两边长度都保持 256 token（附录 E.1）。
• 更新为 REINFORCE 式策略梯度（Williams, 1992; Hojel et al., 2024）。结束后再从最终 Bernoulli 采样一次，得到 I_safety。Algorithm 1 在附录 D。全程不更新模型参数。

推理时攻击与判定

• 对测试查询，在最后 token 把 I_safety 中每个头换成对应 μ（式 7）。两种策略各自单独使用，不改提示词，也不改参数。
• §4.3 的渐进分析是另一套用法：按 σ(θ) 从高到低重贴 top-k，不是再抽一次 Bernoulli。
• ASR 为成功次数除以全部攻击次数。判定器 HarmBench-Llama-2-13b-cls 读行为与生成，输出 yes 或 no。附录 B 给出完整评判模板。

实验设置

• 模型：Llama-2-7b-chat、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.2。表头简写为 Llama2-7B、Llama3.1-8B、Qwen2.5-7B、Mistral-7B。Table 4：参数量 7B/8B/7B/7B，层数 32/32/28/32，每层头数 32/32/28/32，头维均为 128。
• 数据：识别安全头只用 AdvBench 的 100 条及有害目标回复。攻击评测用完整 AdvBench（520 behaviors）和 StrongREJECT（313 malicious instructions）。
• 基线：GCG、AutoDAN、AdvPrefix、DSN、ORTHO；§5 另比 Ships 与 FT。附录 E.3、Table 5：GCG 为 500 steps、search width 512、top-k 64；AutoDAN 的 attack model 为 gpt-3.5-turbo；FT 为 LoRA rank 16、alpha 32、3 epochs、学习率 2×10^{-4}。
• 指标：ASR 由 HarmBench-Llama-2-13b-cls 判 yes/no。附录 B 称报告三次不同随机种子的均值。论文未做统计显著性检验。
• 优化：Harmful Patching 用 N=1000；GOSV 为 K=32、500 epochs、学习率 0.1。附录 E 称实验在一块 80GB NVIDIA A100 上完成。
• Table 2 口径：§5 写明每个模型只报告两策略中较高的 ASR，未分列 Harmful Patching 与 Zero Ablation。

主结果

模型	AdvBench ASR	StrongREJECT ASR
Llama-2-7b-chat	92.50%	91.05%
Llama-3.1-8B-Instruct	96.35%	92.01%
Qwen2.5-7B-Instruct	86.35%	90.42%
Mistral-7B-Instruct-v0.2	100.00%	99.36%

据 Table 2，上表为 Ours，且为两策略中较高值。

• 与基线同表比较：这 8 格均高于同表 GCG、AutoDAN、AdvPrefix、DSN、ORTHO。作者称几乎所有模型-数据集组合上都接近最好，并称在 Mistral 与 Llama-3.1 上优于全部基线。
• 基线端点：Table 2 基线最低格是 StrongREJECT 上 GCG 对 Llama3.1-8B 的 18.27%，AdvBench 最低是 AutoDAN 对 Llama2-7B 的 24.04%。与 Ours 最接近的包括 AdvBench 上 Qwen 的 ORTHO 84.81%、Mistral 的 AdvPrefix 95.77%，以及 StrongREJECT 上 Qwen 的 ORTHO 88.50%、Mistral 的 AdvPrefix 90.10%。
• 作者解读：作者称这支持 GOSV 找到的安全向量有效，且攻击能跨架构和有害场景泛化。论文未报告查询次数。

两类通路与重贴规模

• 头的位置：Figure 2 用颜色表示优化后的选择概率 σ(θ)。图上 Zero Ablation 的 n 为 Llama2-7B 326、Llama3.1-8B 333、Qwen2.5-7B 240、Mistral-7B 379；Harmful Patching 为 339、339、263、322。Figure 8 的重叠率为 24.8%（重叠 132）、21.3%（118）、21.2%（88）、22.3%（128）。作者称重叠持续偏低，两条通路都能单独破坏安全。附录 F 称散点多沿坐标轴而非对角线。Figure 3 只文字称 top-k 重叠持续低，未给出可读数字。
• 约 30%：Figure 4 画 ASR 与 PPL 随重贴头数的变化，论文未说明评测集。作者称约 1% 的头可使多数模型 ASR 从接近 0 升到 50% 或更高；约 30% 时 ASR 到平台，并称安全向量约占全部头的三分之一。作者称 Qwen2.5 上升更缓。超过该点后部分模型 ASR 略降；作者认为不是安全恢复，而是生成被破坏，并称 PPL 在约 30% 之后上升。
• 单条请求的转变：Table 1 在 Llama-3.1-8B 上用 Zero Ablation，头数 0、160、320、640、1024 对应 Complete Refusal、Refusal with Harmful Content、Full Harmful Compliance、Degraded & Incoherent、Complete Dysfunction。作者称约 30%（表中 320）时转为完整有害遵从，再增加则不连贯。有害原文不引。

重贴值、Ships 与微调

• 何种激活才有效：Figure 5 比较 Harmful Patching、Zero Ablation、Benign Patching、Random Patching 与 vanilla，论文未说明基准。作者称只有前两者 ASR 超过 90%；后两者相对无干预只有小幅上升，作者认为来自扰乱一般功能，而不是打掉特定安全向量。图中各柱精确读数论文未给出。
• Ships：Table 3 未加方法的一行，AdvBench / StrongREJECT 为 Llama2-7B 0.38% / 0.32%，Llama3.1-8B 0.96% / 1.60%，Qwen2.5-7B 1.73% / 7.67%，Mistral-7B 35.58% / 29.71%。Ships 为 33.08% / 33.87%，15.19% / 16.61%，0.00% / 0.64%，0.38% / 8.31%。作者称相对 Ships 的提升超过 50%，且 Ships 在 Qwen2.5-7B 与 Mistral-7B 上接近 0，并损害正常功能。后两模型的 Ships 低于同表未干预行。
• FT 与表间不一致：同一训练数据的 FT，AdvBench / StrongREJECT 为 91.92% / 71.88%，94.81% / 84.66%，90.58% / 82.43%，95.00% / 80.83%。Table 3 的 Ours 为 92.50% / 91.05%，96.35% / 97.44%，86.35% / 90.42%，100.00% / 99.36%。作者称训练分布上两者相当，StrongREJECT 上本文更好，并称提升范围为 8% 到 19%。例外是 Qwen2.5-7B 的 AdvBench：FT 90.58% 高于 Ours 86.35%。Llama3.1-8B 的 StrongREJECT、Ours 在 Table 2 为 92.01%，在 Table 3 为 97.44%，论文未解释。

其他消融与分析

• 轮数：Figure 6 中四模型 ASR 在前 300–500 epoch 上升较快，之后变慢；作者据此固定 500 epoch。论文未说明评测集。
• 样本数：Figure 7 只画 Llama-2-7B 与 Llama-3.1-8B。作者称 ASR 在 20 到 50 条之间上升较快，约 100 条后进入平台。论文未给出图中具体 ASR，也未说明评测集。
• 负面与例外：Qwen2.5 的 ASR 上升更缓；过多重贴后部分模型 ASR 下降且输出不连贯；Benign/Random 不能达到作者所称的 90% 以上；Ships 在 Qwen、Mistral 上低于未干预行；Qwen 的 AdvBench 上 FT 高于 Ours。

作者指出的局限与后续方向

• 未做防御：Limitations 称尚未基于这些发现开发防御；后续应做更稳健的防护。
• 需要白盒：方法依赖 activation patching 的 white-box access，因而限制了 black-box 场景下的适用性（Limitations）。
• 模型、语言与行为：评测集中在一组开源模型和英文指令；对更大的专有模型、多语言情境和其他安全关键行为的可推广性，需要进一步研究（Limitations）。

实验覆盖范围

• 被测模型为 Llama-2-7b-chat、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.2，结构见 Table 4（§4.1）。
• 攻击 ASR 在完整 AdvBench（520 behaviors）与 StrongREJECT（313 malicious instructions）上报告；安全头识别用 AdvBench 的 100 条（§4.1）。
• 对照包括 GCG、AutoDAN、AdvPrefix、DSN、ORTHO，以及 Ships 与 FT（Table 2、Table 3）。另有 Benign Patching 与 Random Patching（Figure 5、附录 E.2）。
• ASR 由 HarmBench-Llama-2-13b-cls 判定；附录 B 称取三次运行的均值。论文未报告与人工判定的一致性，也未报告各攻击的查询次数。
• Table 2 只报告两策略中较高的 ASR（§5）。生成目标回复的 unaligned base models 未点名（附录 E.1）。Figure 4、Figure 5、Figure 6、Figure 7 的评测集论文未说明。

GOSV 把对齐模型的安全写成可由注意力头传输的向量，用全局优化找出这些头，再在推理时改激活以越狱。

• 问题：局部归因假设头的贡献独立。作者认为这抓不住头与头一起维持安全的方式，因此护栏为何易被越狱仍不清楚。
• 方法：全部头用 Bernoulli 策略梯度同时选择。Harmful Patching 写入有害生成的平均激活，Zero Ablation 把选中头置 0。Figure 8 四模型重叠率为 21.2%、21.3%、22.3%、24.8%。攻击不改提示词和参数，只在最后 token 重贴。
• 主结果：Table 2 报告两策略中较高 ASR。AdvBench 上四个模型为 92.50%、96.35%、86.35%、100.00%；StrongREJECT 为 91.05%、92.01%、90.42%、99.36%，均高于同表 GCG、AutoDAN、AdvPrefix、DSN、ORTHO。
• 其他结果：作者称约 30% 的头被重贴时安全瓦解（Figure 4）；再增加则输出变差。Ships 在 Qwen2.5-7B 的 AdvBench 上为 0.00%（Table 3）。Qwen 的 AdvBench 上 FT 为 90.58%，高于 Ours 的 86.35%。
• 作者结论：作者认为对齐模型维持分开的安全通路，而不是单一机制；并称稳健防御必须考虑跨多条通路、彼此依赖的机制。Limitations 写明尚未给出防御，且方法需要 white-box。