Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.04896· Chen Xiong, Zhiyuan He, Pin-Yu Chen, Ching-Yun Ko, Tsung-Yi Ho·Indexed by this site · Originally published

Steering Externalities: Benign Activation Steering Inadvertently Increases Jailbreak Risk in Large Language Models

Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models

Quick read

Interpretability

Based on 论文 PDF （AI 生成）; refer to the original

良性转向后，Llama-2-7B-Chat在HarmBench上CoP+Compliance ASR为94.25%。

Questions
模型服务方用良性数据做推理时激活转向，以提升顺从或JSON格式遵循。作者称这种效用优先、攻击者控制不了的干预，仍会侵蚀安全裕度并放大黑盒越狱。
Methods
不新造算法。Compliance用拒绝/顺从激活的PCA；JSON用格式配对的均值差。固定转向下比较原有害提示与CoP、PAIR、TAP，并以早期token KL和隐藏表示分析拒绝门。
Experiments and results
三个模型的HarmBench上，两种良性转向都提高无攻击ASR。Table 10中CoP加Compliance最高为94.25%（Llama-2-7B-Chat）。作者称转向会放大CoP、PAIR与TAP。
Limitations and future work
作者称t-SNE只是定性投影，二维边界仅为示意。STEER-BIND是初步缓解。结论建议部署前红队，并研究能保住稳健性的安全感知转向。主实验三个模型；PAIR与TAP只在Llama-2的50条上。论文未报告攻击查询预算和人工一致性。
Experimental setupLlama-2-7B-Chat、Llama-3-8B-Instruct et al. · HarmBench、Alpaca et al. · ASR、Refusal Rate et al.
Evaluated models
Llama-2-7B-ChatLlama-3-8B-InstructGemma-7B-itLlama-3-8B-Instruct-RRGPT-OSS-20B
Benchmarks
HarmBenchAlpacaIFEvalSorryBenchBeaverTails
Metrics
ASRRefusal RateJSON correctnessWin-Rate
AI summaryThe paper proposes and validates a phenomenon called Steering Externalities: activation steering vectors from entirely benign datasets inadvertently erode the safety guardrails of large language models. Activation steering is a post-training alignment technique that requires no retraining; it only adds a steering vector to the model's internal representations to bias the model toward specific output formats such as compliance or JSON. Experiments show that such interventions act as risk amplifiers, bypassing initial safety alignment, raising jailbreak attack success rates above 80% on standard benchmarks, and making models more susceptible to black-box attacks. Based on this, the authors argue that inference-time utility improvements must undergo strict auditing for safety externalities.

The paper proposes and validates a phenomenon called Steering Externalities: activation steering vectors from entirely benign datasets inadvertently erode the safety guardrails of large language models. Activation steering is a post-training alignment technique that requires no retraining; it only adds a steering vector to the model's internal representations to bias the model toward specific output formats such as compliance or JSON. Experiments show that such interventions act as risk amplifiers, bypassing initial safety alignment, raising jailbreak attack success rates above 80% on standard benchmarks, and making models more susceptible to black-box attacks. Based on this, the authors argue that inference-time utility improvements must undergo strict auditing for safety externalities.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    良性激活转向会削弱拒绝并放大黑盒越狱。

    良性激活转向会在提升效用的同时削弱拒绝，并放大黑盒越狱。

    • 场景：作者称服务方常在推理时向隐藏状态加入转向向量，以加强顺从、人设或 JSON 等指令遵循，从而不必再训练。作者认为，转向由开发者施加、攻击者接触不到时，效用优先干预仍可能造成安全回退，这一点尚未被充分考察。
    • 已有做法的缺口：作者称既有研究多从攻击者或诊断视角使用转向，故意探测或绕过拒绝，安全下降是预期结果。训练期的良性微调或偏好优化也可能削弱对齐，但那不是本文的推理时设定。
    • 假设：作者假设良性转向把开头若干 token 的分布推向非拒绝轨迹，压缩对齐所依赖的 safety margin，并把有害提示的表示推向无害子空间。
    • 本文内容：作者将此现象称为 steering externalities。他们不提出新转向算法，而是用良性数据复现 compliance 与 JSON 转向，比较 benchmark-only 与自适应越狱，并做 token 级和表示级分析。
    • 威胁模型：
      • 目标：攻击者试图越狱由 LLM 与开发者转向机制组成的黑盒 API。
      • 知识：论文写明 black-box。攻击者不能访问或控制转向，看不到内部激活，也不能修改转向向量。
      • 能力：只能做输入–输出查询；攻击算法按转向模型的反馈改写提示。攻击期间转向向量固定。
      • 判定：同一 HarmBench classifier 判断回复是否与原始恶意查询相关且有害。benchmark-only 用数据集原有害提示、不改写；synergistic / adaptive 则迭代改写。

  2. What related research exists?

    作者把本文放在开发者侧、良性数据、效用优先的推理时转向。

    论文按训练期修改与推理时转向组织相关工作，并用 Table 3 标出各自是否良性目标、是否以效用为优先、是否研究安全副作用、是否做攻击评测。

    • 推理时效用转向：Turner et al. (2024) 在推理时向隐藏状态加向量，不改权重。Lee et al. (2025) 的 CAST 对比不同响应模式的激活以抽取行为方向。Stolfo et al. (2025) 用 difference-in-means 做指令遵循转向，包括 JSON。本文沿用后两套流程，不提出新算法。引言还提到 Chen et al. (2025) 的人设向量，作为转向可做的效用控制之一。
    • 攻击者视角的转向：论文称 Arditi et al. (2024) 找出 refusal direction，去掉会诱发顺从、加上会诱发拒绝。论文称 Korznikov et al. (2025) 即使方向并非为越狱设计（随机方向或 SAE 特征），转向仍可破坏安全。论文称 Ghandeharioun et al. (2024) 的人设转向比提示词更能引出有害行为。作者用 Table 3 把这些工作标成攻击或诊断用途；安全下降在该设定下是预期。
    • 训练期无意失对齐：论文称 Qi et al. (2023) 发现再微调对齐模型会引入攻击面，少量对抗微调样本可破坏防护，常用效用数据上的良性微调也会削弱安全。论文称 Razin et al. (2025) 分析 DPO 的 likelihood displacement，并写即便训练目标是拒绝不安全提示，仍可能无意失对齐。作者称本文只讨论推理时、训练后干预，但与这些训练期担忧平行。
    • 基线与基准：对照是未加转向的原始模型。越狱方法为 CoP（Xiong et al., 2025）、PAIR（Chao et al., 2023）、TAP（Mehrotra et al., 2023）。安全数据为 HarmBench 与 SorryBench；效用数据为 Alpaca 无害提示与 IFEval 的 JSON 约束。机制部分沿用 Qi et al. (2024) 的浅层安全对齐假设。

    作者把本文定位为：向量只从良性数据学习，只由服务方用于提升效用，却仍会与黑盒越狱叠加。Table 3 将本文标为推理时、良性目标、效用优先、研究了安全副作用并做了攻击评测的一栏。

  3. How does the paper address this problem?

    复现Compliance与JSON两种良性转向，再测黑盒越狱与拒绝门。

    作者不新造转向算法，而是评测两种已有良性流程：STEER-COMPLIANCE 与 STEER-JSON，看它们是否缩小安全裕度。

    问题设定

    • 残差流干预写成 h̃(ℓ)t=h(ℓ)t+α v：在层 ℓ、位置 t 加向量，α 为强度，参数不变，从而改变下一 token 分布。
    • 开发者用良性数据学习方向，并在推理时全局施加。目标是降低无害请求上的拒绝，或强制 JSON 等结构化输出。
    • benchmark-only：使用基准原有害提示，不改写。adaptive attack：黑盒算法按转向模型的反馈迭代改写。图 1 把后者称为 Synergistic Vulnerability。

    STEER-COMPLIANCE

    • 沿用 CAST：从 Alpaca 随机抽 100 条良性指令，每条配短的拒绝前缀续写与顺从前缀续写。
    • 在均值中心化的残差激活上做 PCA，取分开拒绝与顺从的方向；因符号不确定，取 v_comply = -v_refusal，使正向增加顺从。
    • 系数在 Llama-3-8B-Instruct 上从 0、0.5、1.0、1.5、2.0 中选取。作者称与原始模型 Alpaca 胜率相交处约为 1.3，并用于其余实验。转向层为 15 以及 17–24，三个主模型一致。
    • 作者写明：压低无害提示上的拒绝是预期效用；外部性是同一全局干预也会压低有害提示上的拒绝。

    STEER-JSON

    • 沿用 Stolfo et al. (2025)。从 IFEval 抽 400 条，构成基查询与追加 JSON 格式指令的配对。
    • 在最后输入 token 的残差上取配对差的均值并单位化；系数不用固定 α，而用该文的自适应缩放，按当前表示在方向上的投影相对正例均值做校正。
    • 层由以 JSON 正确率为目标的网格搜索确定：Gemma-7B-it 为 15，Llama-2-7B-Chat 为 16，Llama-3-8B-Instruct 为 6。
    • 作者称这是格式约束、与安全无直接关系，用以检验句法转向是否仍会打断拒绝轨迹。

    攻击、拒绝门与判定

    • CoP 组合多种说服原则；PAIR 按回复迭代改写提示；TAP 在 PAIR 上做候选树搜索与剪枝。三者都不看内部激活，也不能改转向向量；攻击过程中向量保持固定。
    • 作者把生成写成 P(y|x)=P(y≤ k|x)· P(y>k|x,y≤ k)：前 k 个 token 为拒绝门，其后为自回归惯性。假设来自 Qi et al. (2024)：安全行为集中在短前缀；一旦进入非拒绝开头，后续沿该前缀延续。
    • ASR 用 HarmBench classifier（微调过的 Llama-2-13B），标准是回复与原始恶意查询相关且有害。拒绝率主要用 Distilroberta-Base-Rejection-v1；附录另用 SorryBench 微调的 Mistral。JSON 效用按能否解析为 JSON 对象判定。效用提示与构造向量的提示不重叠，各 100 条。
    • 机制分析不另训安全模块：逐 token KL 比较原模型与转向模型；各层残差上用线性探针区分有害/无害，再用 t-SNE 看转向后的位置。作者称若有害性线性可解码，安全门可看成对内积得分设阈值，转向相当于平移该得分。

  4. What experiments did the paper conduct?

    Table 10中，转向提高三模型HarmBench ASR，CoP叠加后最高94.25%。

    实验设置

    • 目标模型：主实验为 Llama-2-7B-Chat、Llama-3-8B-Instruct、Gemma-7B-it。附录 J 另测 Llama-3-8B-Instruct-RR 与 GPT-OSS-20B，且只做 STEER-COMPLIANCE。
    • 数据：正文称 HarmBench 含 400 条有害查询；Table 10 写 400 random sampled。效用为 100 条无害 Alpaca 与 100 条 IFEval，且与构造向量的 100 条 Alpaca、400 条 IFEval 不相交。SorryBench 用于有害拒绝率，论文未说明 Table 4 的样本量。STEER-BIND 用 50 条 Alpaca 与 50 条 BeaverTails。
    • 转向设置：Compliance 系数作者称约为 1.3，层为 15 与 17–24。JSON 用自适应系数，层分别为 15、16、6。
    • 攻击：CoP 在 400 条 HarmBench 上；PAIR 与 TAP 只在 Llama-2-7B-Chat 的 50 条上。论文未写三种攻击的辅助模型、迭代次数或查询预算。
    • 指标与评委：ASR 用微调 Llama-2-13B 的 HarmBench classifier；论文未写分类阈值。拒绝率用 Distilroberta-Base-Rejection-v1，附录 I 改用 SorryBench 微调的 Mistral-7B-Instruct-v0.2。JSON 正确性为能否解析为 JSON。附录 H 的 Win-Rate 以 GPT-4 为参考评委。论文未报告重复次数，也未报告评审与人工一致性。
    • 对照：同一基座的未转向模型；攻击条件再比较只跑攻击与攻击加转向。KL 分析用 Mistral-7B-Instruct-v0.2 在 HarmBench 上生成回复，经上述 classifier 筛得 125 对。

    主结果

    据 Table 10，HarmBench 400 条上的 ASR：

    Swipe horizontally to read the table

    条件Llama-2-7B-ChatLlama-3-8B-InstructGemma-7B-it
    无攻击原始0.00%2.00%3.25%
    Compliance16.00%38.50%25.50%
    JSON11.50%20.00%15.50%
    CoP77.00%71.00%71.00%
    CoP+Compliance94.25%81.25%93.50%
    CoP+JSON88.75%79.50%90.25%
    • 作者称两种转向都提高无攻击 ASR，Compliance 的回退大于 JSON；即便只加格式约束，ASR 也高于未转向模型。
    • 作者称转向是既有黑盒攻击的 force multiplier。引言称相对原对齐模型、SOTA 越狱下 ASR increasing by up to 99%；贡献称 nearly 99%；结论称 up to 99% ASR；摘要称 over 80%。正文把 Llama-2 的 CoP 加 Compliance 写成 95%，Figure 2 标为 94.2%，与表中该格不一致。
    • 附录 J 的两个模型未列入上表：样本为 50 条，且只有 Compliance。

    PAIR 与 TAP

    • 测了什么：在 Llama-2-7B-Chat、50 条 HarmBench 上比较 PAIR 与 TAP，设置仍是原始、Compliance、JSON（Table 2）。
    • 结果：PAIR 为 10%、20%（+10）、14%（+4）。TAP 为 20%、34%（+14）、26%（+6）。
    • 作者解读：作者称这不是单一攻击方法的特例；格式向干预也会削弱安全裕度，但幅度小于 compliance。作者称 Compliance 使 PAIR 的效果加倍，对应表中 10% 到 20%。

    效用与 SorryBench

    • 效用（Table 1）：无害 Alpaca 拒绝率，Compliance 后 Llama-2 由 9% 到 6%，Llama-3 由 2% 到 0%，Gemma 由 18% 到 1%。IFEval 的 JSON 正确率，JSON 转向后分别为 61% 到 74%、63% 到 69%、69% 到 81%。作者称两项效用目标都达到。
    • 有害 SorryBench、无越狱（Table 4，RoBERTa 评委）：拒绝率下降。Llama-2：85.00% 到 Compliance 79.00%（-6.00）、JSON 75.00%（-10.00）。Llama-3：25.00% 到 11.00%（-14.00）、23.00%（-2.00）。Gemma：85.00% 到 53.00%（-32.00）、70.00%（-15.00）。论文未说明该表样本量。
    • 另一评委（附录 I）：SorryBench 微调 Mistral 下，Compliance 后拒绝率 Llama-2 90.00% 到 83.00%，Llama-3 86.00% 到 30.00%，Gemma 90.00% 到 68.00%（Table 7）。JSON 后为 86.00%、83.00%、85.00%（Table 8）。与 Table 4 的原始拒绝率不同；论文未解释差异。作者称 Table 7 中 Llama-3 与 Gemma 的下降更大。

    token 级 KL 与表示

    • KL：Figure 3、6、7、8 比较原模型与转向模型的逐 token KL，红线为 HarmBench 回复，蓝线为 Alpaca。作者称两种转向下，KL 都在开头几个 token 最大，随后迅速稳住；有害提示上更明显。正文未给出 KL 数值。附录 E 的定性例子中，作者称首 token 即变成非拒绝或 JSON 开头；此处不引示例原文。
    • 表示：作者称转向前有害（红）与无害（蓝）在各层可线性分开，Figure 18 准确率高，但正文未给百分数。Figure 4 在 Llama-3 第 30 层报告：Compliance 下 60.8% 的转向后有害点跨到判为无害的一侧，JSON 下为 58.2%。作者称句法转向也会扰动分开有害/无害的内部特征。
    • 作者的机制解读：早期分布离开拒绝前缀后，自回归会沿非拒绝轨迹延续；隐藏空间里有害提示被编码得更像无害请求。作者称这不需要删掉显式安全机制。

    其他消融与分析

    • 系数（Figure 5，仅 Llama-3-8B-Instruct）：α 取 0、0.5、1.0、1.5、2.0；作者选取与原始 Alpaca 胜率相交的约 1.3。图中胜率与拒绝率的具体读数正文未列出。
    • Win-Rate（Table 6，100 条 Alpaca，GPT-4 为参考）：Llama-3-8B-Instruct 2.51 到 2.79；Llama-2-7B-Chat-hf 0.31 到 4.67；Gemma-7B-it 2.38 到 3.88。作者称转向后更高。
    • 附加模型（Table 9，50 条，仅 Compliance）：Llama-3-8B-Instruct-RR 无攻击 0% 到 2%，CoP 52% 到 70%；GPT-OSS-20B 无攻击 0% 到 6%，CoP 62% 到 84%。作者称无攻击增幅的绝对值较小，与 CoP 叠加后升幅更大。
    • STEER-BIND（Table 5，仅 Llama-3-8B-Instruct）：无害拒绝率原始 2%、BIND 1%；正文另写 Compliance 为 0%。无攻击 ASR：原始 4%、BIND 5%、Compliance 36%。CoP：73%、加 BIND 76%、加 Compliance 93%。
    • Table 5 的原始无攻击 ASR 4%、CoP 73%，与 Table 10 的 2.00%、71.00% 不同；论文未说明原因。相对原始 CoP，BIND 的 76% 仍更高；作者的比较对象是纯 Compliance。
    • 附录 J：作者写官方 STEER-JSON 实现不支持后两个架构，故未报告 JSON 转向。

  5. What are some points that can be further explored?

    作者称可视化是定性的，并把安全感知转向与部署前红队列为后续。

    作者指出的局限与后续方向

    • 可视化：附录 F.1 标题即为表示可视化的局限。作者强调 t-SNE 是定性投影，二维边界只是示意性诊断。
    • 缓解仍是初步：第 6 节称 STEER-BIND 是 preliminary study，并认为该思路可以推动更强的安全感知转向设计。
    • 部署与后续方法：第 6 节建议把转向向量当作行为补丁，在发布前以及向量、注入层或强度变化时做红队和回归测试。结论写未来工作应发展能保持稳健性的安全感知转向。
    • 拒绝以外的轴：Impact Statement 写本文聚焦拒绝与有害补全稳健性，并认为同一早期 token 偏移可能影响真实性、偏见与毒性、隐私泄露、过置信/校准或指令层级，建议审计不限于安全拒绝。

    实验覆盖范围

    • 主结果模型为 Llama-2-7B-Chat、Llama-3-8B-Instruct、Gemma-7B-it；附录 J 增加 Llama-3-8B-Instruct-RR 与 GPT-OSS-20B。
    • CoP 报告于 400 条 HarmBench；PAIR 与 TAP 报告于 Llama-2-7B-Chat 的 50 条。
    • 主实验包含 Compliance 与 JSON；附录 J 写明官方 JSON 实现不支持后两个架构，只报告 Compliance。
    • 评委包括 HarmBench 的微调 Llama-2-13B、Distilroberta-Base-Rejection-v1、SorryBench 微调 Mistral，以及 Win-Rate 所用 GPT-4。
    • 论文未报告攻击辅助模型、迭代预算、查询次数、重复次数，以及 LLM 评审与人工的一致性。

  6. Summarize the main content of the paper

    良性转向提升顺从或格式效用，同时提高黑盒越狱ASR。

    开发者用良性数据做推理时激活转向时，安全对齐可能被无意削弱。

    • 作者关心的不是攻击者手中的转向，而是服务方为提高顺从或 JSON 格式遵循而固定施加的向量。攻击者面对的是 black-box API，不能看激活，也不能改向量。
    • 他们复现两套已有流程：STEER-COMPLIANCE 用拒绝与顺从续写做 PCA，STEER-JSON 用格式指令配对的均值差和自适应缩放。评测分不改写的有害提示，以及 CoP、PAIR、TAP。
    • Table 10（HarmBench 400 条）里，无攻击 ASR 在三个主模型上都高于未转向模型；Llama-3-8B-Instruct 的 Compliance 为 38.50%，原始为 2.00%。CoP 叠加 Compliance 后，Llama-2-7B-Chat 为 94.25%，Gemma-7B-it 为 93.50%。JSON 同样提高 ASR，表中低于对应的 Compliance。
    • 效用侧，Table 1 的无害拒绝率下降、JSON 合法率上升。作者称这是预期效用，同时构成外部性。Figure 4 报告第 30 层有 60.8%（Compliance）和 58.2%（JSON）的转向后有害点跨到无害侧。
    • 作者的结论是：推理时的效用改进必须审计安全外部性；转向配置应在部署前红队。附录中的 STEER-BIND 被写成初步的安全感知构造，结论将其指向后续工作。
Read originalarxiv.org