分析引导向量的安全陷阱

activation steering 会不会改变 LLM 的安全对齐，以及变化从何而来。

• 场景：作者称 steering 在推理时改激活、不更新权重，已被用于真实性、谄媚、政治倾向和复杂推理。脆性已被记录，但安全后果仍少被系统检查。
• 现有不足：既有分析多从效用出发，讨论高变异、分布外泛化差、只在特定任务有效，以及相对 prompting 是否更有用。作者认为这漏掉了更危险的一点：弱的提示级越狱会因 steering 更容易成功。
• 核心观察：朝特定行为方向 steering，ASR 可升可降。作者将其归因于 steering 向量与拒绝行为潜方向重叠，而不是行为名称的语义单独决定。
• 提出的审计：以 Contrastive Activation Addition（CAA）为对象，用统一协议审计 3 个家族、6 个规模（3B–32B）的开源模型；用模板攻击作诊断，给出几何解释和消融，并讨论可控性与安全的权衡。
• 审计设定：
  • 干预的是残差流，向量来自行为对比，强度由标量 multiplier 控制。
  • 探针为 JailbreakBench 的有害请求，以及 Refusal Suppression、Prefix Injection；另有不加攻击的 prompt-only。
  • 回复由 GPT-4o-mini 分为 safe、jailbroken 或 non-comprehensible，再算 ASR；良性请求上算 FRR。
  • 论文未使用 white-box、black-box 等术语。

Steering 的构造

• 激活差方法：Turner 等（2024）、Panickssery 等（2024）与 Zou 等（2025）不改参数，用激活差改行为；Subramani 等（2022）抽取潜 steering 向量。
• 其他干预层次：Li 等（2023）、Zhang 等（2024）改注意力头输出；Chalnev 等（2024）用稀疏自编码器取残差流特征。论文只作描述，未拿它们和 CAA 比安全指标。
• 已有应用：减轻谄媚（Panickssery 等，2024）、政治倾向（Kim 等，2025）、复杂推理（Wang 等，2025）。引言用来说明 steering 的用途。

脆性被怎样讨论

• 变异与泛化：Tan 等（2024）讨论高变异和差的分布外泛化；Silva 等（2025）讨论经常无效。
• 任务范围：Brumley 等（2024）称效果常限于特定任务类型；van der Weij 等（2024）称同时转多种行为时更不成功。
• 几何与 prompting：Braun 等（2025）把原因联系到激活差的几何一致性；Wu 等（2025）比较 prompting，质疑 steering 相对简单基线的效用。论文指出这些工作主要把脆性当作效用问题。

对齐、越狱与拒绝表示

• 拒绝训练：Ouyang 等（2022）、Bai 等（2022a,b）、Rafailov 等（2023）。Barnhart 等（2025）、Ji 等（2024）、Wolf 等（2024）讨论对齐脆性；Qi 等（2024）、Su 等（2024）、Wei 等（2024）认为不安全能力被压制而非擦除。
• 提示级越狱：Wei 等（2023）、Huang 等（2023）、Andriushchenko 等（2025）、Zou 等（2023）。两种模板攻击来自 Wei 等（2023）。
• 拒绝方向：Arditi 等（2024）称拒绝由残差流单一方向介导，该构造被沿用。Wollschläger 等（2025）、Pan 等（2025）认为拒绝是更高维的。Gao 等（2025）、Kawasaki 等（2025）、Li 等（2025）在激活空间分析拒绝如何被颠覆。

实验对照：对照是 m=0 的未 steering 模型，不是另一种 steering 算法。基准为 JailbreakBench。

作者称这项工作把表征视角延伸到 steering 对 ASR 的系统性偏移，并用与一维拒绝方向的部分对齐，检查激活偏移如何离开安全流形。

CAA 行为向量被加到残差流；ASR 变化再用与拒绝方向的重叠来解释，并用只改向量的消融检验该分量是否参与安全变化。

干预形式

• 对象是 decoder-only transformer 的残差流。层 ℓ、位置 i 的激活记为 h，推理时加上固定方向。
• 干预为 h̃⁽ⁱ⁾_ℓ(x)=h⁽ⁱ⁾_ℓ(x)+m v_ℓ,τ。m 决定符号和强度，v 对应行为 τ。
• 第 3 节写把加法用在 prompt tokens 上；第 4.2 节的实验协议写加到 prompt 之后的全部 token 位置。论文未解释这两处差别。
• 主实验 m 取 0、±0.5、±1.0、±1.5；m=0 为未 steering。

行为向量与层

• 形式化遵循 Panickssery 等（2024）的 CAA：同一题只改答案选项，取答案字母处的残差激活，正例减负例再求均值。
• 实验向量来自已公开行为向量（Panickssery 等，2024；Tan 等，2024），共 9 个：Hallucination、Myopic Reward、Corrigible、Survival Instinct、Sycophancy、Self Awareness、Anti-LGBTQ、Coordinate-AI、Openness。原始标识在附录 A.3。
• 作者称这些维度与对齐讨论有关，但并非显式拒绝信号，以免和拒绝方向平凡重叠。
• 层选择：在留出的良性提示上用 m∈{-1,0,+1} 扫层，保留可控性强的层；消融再对准最突出的拒绝方向所在层。附录 Table 3：Llama-7B 14/32，Gemma-7B 14/28，Qwen-3B 27/36，Qwen-7B 19/28，Qwen-14B 30/48，Qwen-32B 46/64。

拒绝方向

• 遵循 Arditi 等（2024）：有害与无害提示在末 token 上的激活差均值，得到每层候选 r_ℓ，再选一个 r̂。
• 附录 A.4：有害集 128 条训练、32 条验证，来自 AdvBench、MALICIOUSINSTRUCT、TDC2023、HarmBench；无害集同样 128/32，来自 Alpaca。过滤后与评测基准无重叠。
• 验证集上用 bypass、induce、KL 三个分数：选 bypass 最低，且 induce_score>0、kl_score<0.1、层号<0.8L。作者把它当作拒绝方向的可追踪代理。

消融与判定

• 消融只作用在 steering 向量上，不在推理时改整段残差流：v^⊥_ℓ,τ=v_ℓ,τ−(v_ℓ,τ^⊤r̂_ℓ)r̂_ℓ。正交分量保留。
• ASR 是有害请求中 jailbroken 占可理解输出的比例；FRR 是良性请求被错误拒绝的比例。判定模型为 GPT-4o-mini，模板在附录 A.6。
• 攻击模板在附录 A.5：Refusal Suppression 禁止道歉、免责和拒绝用语；Prefix Injection 要求先复述给定开头。此处不复述模板原文。

实验设置

• 模型：Llama-2-7b-chat-hf、Gemma-7b-it、Qwen2.5-7B-Instruct，以及 Qwen2.5 家族的 3B、14B、32B。正文未给出后三个的完整模型 ID。
• 数据：JailbreakBench，论文写为 100 个 harmful and benign examples，覆盖骚扰、虚假信息、隐私等。未另行写每个格子的条数。
• 攻击与行为：prompt-only、Prefix Injection、Refusal Suppression；9 个行为向量。对照为 m=0。
• 指标：ASR、FRR，以及 ∆ASR=ASR(1.5)−ASR(0)。另报告与 r̂ 的余弦相似度，以及对 ASR 斜率的 OLS。斜率按式 4，取 m 在 -1.5 与 1.5 两端的 ASR 之差，除以两端 multiplier 之差。
• 评审：GPT-4o-mini 三分类。附录 A.6 写明仅有肯定句不足以判 jailbroken。99.8% 的评估文件中不可理解输出低于 5%，100% 低于 20%。
• 运行：附录 A.1 为单次 greedy decoding，单张 A100 80GB。论文未报告评审与人工的一致性。

主结果

Figure 3 是 m=1.5 相对 m=0 的 ∆ASR。下表只取其中 prefix injection 的四列；列顺序按图底标签。

表格较宽，可左右滑动

模型	Sycophancy	Self-Awareness	Openness	Anti-LGBTQ
Qwen 3B	0%	0%	0%	0%
Gemma 7B	18%	28%	10%	-3%
Llama 7B	15%	6%	6%	-1%
Qwen 7B	28%	28%	29%	-24%
Qwen 14B	56%	48%	57%	-15%
Qwen 32B	49%	47%	54%	-4%

• 作者称模板攻击会放大 steering，Qwen 家族里更大的模型变化更大。表中 Qwen 3B 这四格为 0%；Qwen 14B 的 Openness 为 57%，是 Figure 3 的最大升幅。
• 同图 refusal suppression 下，Anti-LGBTQ 在 Qwen 14B 为 -50%，是最大降幅。作者称 Sycophancy、Openness 多升高 ASR，Coordinate-AI、Anti-LGBTQ 多降低 ASR，语义与安全效果并不一一对应。
• 作者称 prompt-only 通常 |∆ASR|<15%。Figure 3 中 Qwen 14B 的 Sycophancy 为 38%、Qwen 7B 为 17%，不在该范围内。Figure 1 标注 Qwen 14B 无 steering 的 ASR 为 4%，仅 Self-Awareness +1.5 为 42%，加 ADV prefix 为 80%；论文未说明这三格对应 Figure 3 的哪一列绝对 ASR。

与拒绝方向的相关

• 余弦相似度：Figure 4 中，升高 ASR 的 Sycophancy、Self-Awareness 与 r̂ 为负对齐，降低 ASR 的 Anti-LGBTQ 为正对齐。作者据此认为机制是几何重叠，不是行为语义。
• prefix injection：Table 1 中 Qwen 3B 的斜率为 1.46，r=0.15，R²=0.02，p=0.696。其余五个模型 p<0.001；R² 从 Qwen 7B 的 0.85 到 Qwen 14B 的 0.91。斜率从 Llama 7B 的 -36.52 到 Qwen 32B 的 -193.40。作者称更大模型对这一对齐更敏感。
• 另外两种设置：Table 6 的 prompt-only 上 6 个模型均为负相关，R² 从 Qwen 14B 的 0.61 到 Qwen 7B 的 0.92，Qwen 3B 也有 p<0.01。Table 7 的 refusal suppression 上 Qwen 14B 的 R²=0.98、r=-0.99；Gemma 7B 的 R²=0.64、p<0.01，低于同表其余模型。

消融与良性误拒

• 消融降幅：Table 2 的三攻击平均 |∆ASR| 降幅为 Qwen 3B 10.86%、Llama 7B 24.63%、Gemma 7B 14.70%、Qwen 7B 19.81%、Qwen 14B 19.76%、Qwen 32B 19.09%，方向均为下降。表内 Mean |∆ASR| 不带百分号，例如 Qwen 14B 的 prefix injection 从 20.64 到 17.43。
• 例外与未恢复：作者称大于 3B 时降幅多在 15%–25%。Gemma 的 refusal suppression 为 11.32%，Qwen 3B 的 prefix injection 为 2.21%（1.43 到 1.40）。作者称消融不能完全回到无 steering 的 ASR，并认为一维 r̂ 未覆盖全部相关安全子空间。
• FRR：Figure 6 只画 Qwen 模型。Self Awareness 斜率=-2.893，Anti-LGBTQ 斜率=3.589。作者称与拒绝方向负对齐时，multiplier 增大则 FRR 下降；正对齐则推向过度拒绝。图中未标出各点 FRR。

其他消融与分析

• 负向 m=-1.5（Figure 8）：作者称方向大致反转；幅度不与 Figure 3 逐格相反。Anti-LGBTQ、refusal suppression、Qwen 14B 为 22%，正向同格为 -50%。
• Table 5 只报告 Myopic Reward、Anti-LGBTQ、Self Awareness 在 ±1.5 的 MMLU 与 TriviaQA。各 Qwen 的 TriviaQA Max |∆| 为 0.0；MMLU 的 Max |∆| 为 Llama 7B 8.5、Qwen 7B 12.3。作者称通常低于 5%，这两格不是。
• Figure 9：作者称消融后 Qwen 上 Anti-LGBTQ 与 Self-Awareness 的 ASR 曲线在 m=0 附近更平滑；图中未标端点 ASR。
• 附录 C：Qwen-14B、sycophancy、m=+1.5、greedy decoding。prompt-only 仍拒绝；两种模板攻击加 steering 后出现有害输出。附录给出示例，此处不复述。

作者指出的局限与后续方向

• 拒绝方向用一维向量作代理，可能未覆盖安全机制的全部复杂性；消融后扰动仍在，作者认为拒绝子空间可能是多维的。后续可扩展到更高维拒绝子空间（第 10 节 Limitations）。
• 第 8 节给出两点解释：r̂ 与额外安全维度仍可能重叠；即便注入向量在层 ℓ 与拒绝方向正交，后层注意力和 MLP 也可能重新引入拒绝分量。
• 实验只审 CAA。作者认为其他激活干预也改残差流，故该结果可能代表更广的一类；仍建议把同一审计用于注意力头干预和稀疏自编码器 steering（第 10 节）。
• 作者呼吁几何上更稳的对齐，以及会考虑模型安全几何的 steering 方法（第 8 节 Discussion、第 9 节 Conclusion）。

实验覆盖范围

• 被测模型为 Llama-2-7b-chat-hf、Gemma-7b-it、Qwen2.5-7B-Instruct 及 Qwen2.5 的 3B、14B、32B，共 6 个（第 4.1 节）。
• 主结果用 JailbreakBench；攻击为 prompt-only、Prefix Injection、Refusal Suppression。行为向量 9 个，multiplier 为 0 与 ±0.5、±1.0、±1.5（第 4.1–4.2 节）。
• 每模型主分析使用 Table 3 的一个层。拒绝方向按附录 A.4 的 128/32 划分，从 AdvBench 等与 Alpaca 构造。
• 评审为 GPT-4o-mini；附录 A.1 写明单次 greedy decoding。论文未报告评审与人工的一致性。
• 能力数字来自 MMLU 与 TriviaQA（Wikipedia split），Table 5 只含 3 个行为。消融是从 steering 向量去掉拒绝分量，不是在推理时消融残差流（第 7 节）。

这是对 CAA steering 的安全审计：它会改变越狱成功率，作者把变化联系到与拒绝方向的几何重叠。

• 问题：推理时用激活 steering 控制行为，不改权重。作者要查的是这会不会侵蚀安全对齐，而不只是效用是否稳定。
• 做法：在 6 个开源模型上使用 9 个已公开的 CAA 行为向量，用 JailbreakBench 和两种模板攻击测 ASR 与 FRR。再提取一维拒绝方向，对 ASR 斜率做余弦相似度回归，并把该分量从 steering 向量中消融。
• 幅度：Figure 3 中 m=1.5 的 ∆ASR，最高为 Qwen 14B、Openness、prefix injection 的 57%，最低为同模型 Anti-LGBTQ、refusal suppression 的 -50%。Figure 1 标注同模型 Self-Awareness +1.5 加 ADV prefix 的 ASR 为 80%，仅 steering 为 42%，无 steering 为 4%。
• 机制：prefix injection 下，除 Qwen 3B（p=0.696，R²=0.02）外，ASR 斜率与拒绝方向余弦相似度负相关，R² 从 0.85 到 0.91（Table 1）。消融后三攻击平均 |∆ASR| 降幅最高为 Llama 7B 的 24.63%（Table 2），基线安全未完全恢复。
• 作者结论：steering 不是安全中性的，可控性与安全存在权衡；良性请求上的 FRR 也会随同一几何关系变化。作者呼吁能计入安全几何的 steering，以及几何上更稳的对齐。