跳到正文
原文
论文追踪· arXiv:2509.22067· Anton Korznikov, Andrey Galichin, Alexey Dontsov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina·本站收录 · 原文发表 精选关注度57

论文：激活引导可破坏 LLM 安全对齐，20 个随机向量即可构造通用越狱攻击

The Rogue Scalpel: Activation Steering Compromises LLM Safety

论文速读

攻击

据论文 PDF 整理（Gemini 生成），以原文为准

作者测试激活转向对LLM安全的影响，发现随机向量致1–13%合规，聚合向量在Falcon3-7B上达63.4%合规率。

威胁模型攻击者仅需黑盒 steering 权限（black-box steering access），即在推理时向指定层残差流添加向量并观察输出，无需模型权重、梯度、输出 logits 或有害训练数据。

问题
激活转向常被视作比微调更精准、安全的模型控制技术。然而其对大语言模型安全对齐与拒绝机制的影响尚缺乏系统探索，良性转向向量是否会意外削弱安全防护仍属未知。
方法
作者在多模型家族上向中间层残差流注入随机球面向量或良性SAE特征，基于JailbreakBench评测有害合规率；并提出将单条提示词下越狱成功的20个随机向量平均归一化，构建无需梯度的通用攻击向量。
实验与结果
随机向量使模型有害合规率升至1–13%；良性SAE特征在Llama3.1-8B上诱导4.6%合规率且817/1000特征可致越狱；聚合20个随机向量构建的通用向量使合规率平均提升4倍，在Falcon3-7B上达63.4%。
局限与可以继续做的
作者指出越狱SAE特征跨提示词泛化较弱，且未探明深层防御机制。实验中SAE转向仅在Llama3.1-8B单模型单层测试，评测基于JailbreakBench的100条有害提示词，通用攻击在Qwen2.5-32B上出现效果下降。
实验设置Llama3.1-8B、Llama3.1-70B 等 · JailbreakBench、MMLU · Compliance Rate (CR)、MMLU Accuracy 等
威胁模型
攻击者仅需黑盒 steering 权限（black-box steering access），即在推理时向指定层残差流添加向量并观察输出，无需模型权重、梯度、输出 logits 或有害训练数据。目标是通过注入向量绕过拒绝机制，诱导模型产生有害合规（harmful compliance）。受害系统涵盖多家族开源 LLM 及公共转向 API。
被测模型
Llama3.1-8BLlama3.1-70BQwen2.5-3BQwen2.5-7BQwen2.5-32BFalcon3-3BFalcon3-7BFalcon-H1-34B
基准
JailbreakBenchMMLU
指标
Compliance Rate (CR)MMLU AccuracyCosine Similarity
AI 导读和推荐理由论文《The Rogue Scalpel》发现，激活引导（activation steering）会系统性破坏大语言模型的安全对齐。在 Llama3.1、Qwen2.5、Falcon3 等模型上，仅向中间层激活加入随机方向向量，就能把 JailbreakBench 100 条有害提示的合规率从 0% 提升到 1–13%；使用稀疏自编码器（SAE）的良性特征引导时，合规率比随机向量再高 1–4%。研究还发现，1000 个 SAE 特征中有 817 个至少能越狱一条有害提示，且最有效的特征对应的是“情态动词”“品牌标识”等良性概念，跨提示泛化性差，难以系统筛查。作者进一步用 20 个能越狱单条提示的随机向量取平均，构造出通用攻击向量，在未见提示上把合规率提升约 4 倍，例如在 Llama3.1-70B 上达到 50.4%，且无需模型权重、梯度或有害训练数据。

论文《The Rogue Scalpel》发现，激活引导（activation steering）会系统性破坏大语言模型的安全对齐。在 Llama3.1、Qwen2.5、Falcon3 等模型上，仅向中间层激活加入随机方向向量，就能把 JailbreakBench 100 条有害提示的合规率从 0% 提升到 1–13%；使用稀疏自编码器（SAE）的良性特征引导时，合规率比随机向量再高 1–4%。研究还发现，1000 个 SAE 特征中有 817 个至少能越狱一条有害提示，且最有效的特征对应的是“情态动词”“品牌标识”等良性概念，跨提示泛化性差，难以系统筛查。作者进一步用 20 个能越狱单条提示的随机向量取平均，构造出通用攻击向量，在未见提示上把合规率提升约 4 倍，例如在 Llama3.1-70B 上达到 50.4%，且无需模型权重、梯度或有害训练数据。

推荐理由论文用 JailbreakBench 系统测量激活引导对拒答机制的破坏，并给出可复现的通用攻击构造方法，为可解释性控制的安全性评估提供对照。

深度解读

6 个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者称激活转向会系统性破坏LLM安全对齐，探究了随机与良性转向引发有害合规的机制并评估了通用攻击风险。

    本研究试图探究激活转向（Activation Steering）是否会在推理阶段系统性破坏大语言模型的安全对齐机制，使模型对有害请求产生合规响应。

    • 问题场景与重要性：作者指出，激活转向通过向推理期隐状态直接添加语义向量来控制模型行为，常被视作比微调更精准、可解释且更安全的替代方案。
    • 现有研究不足：现有激活安全性研究主要关注显式优化的对抗越狱向量，尚未系统评估用于正常控制的良性转向向量是否会意外削弱安全护栏。
    • 核心假设与观察：作者假设激活转向并非精准手术刀，反而可能成为破坏安全机制的“流氓手术刀（rogue scalpel）”；作者称即使是随机方向扰动或良性特征也能诱发拒绝机制失效。
    • 论文研究内容：论文在多个模型家族上系统测量了随机方向与稀疏自编码器（SAE）良性特征转向对模型拒绝机制的影响，并评估了通用攻击向量的构建。
    • 威胁模型：
      • 攻击目标：绕过模型的安全对齐防护，使其顺从有害指令并输出切实可行的有害内容（harmful compliance）。
      • 攻击者知识：仅具备黑盒转向权限（black-box steering access），无需获取模型权重、梯度、训练数据或输出 logits。
      • 攻击者能力：在推理阶段向模型指定层的残差流注入缩放后的激活向量，并观察模型生成的文本响应；完全零样本（zero-shot）。
      • 受害系统：包括 Llama-3、Qwen2.5、Falcon-3、Falcon-H1 等指令微调开源大语言模型，以及基于公共 SAE 转向 API 的生产级模型接口。

  2. 有哪些相关研究？

    论文梳理了大模型对齐漏洞、激活转向技术及转向鲁棒性相关研究，指出此前缺乏对良性转向意外削弱安全护栏的系统性探索。

    论文梳理了以下三类相关研究并设置了基线对比：

    • LLM 对齐漏洞与越狱：
      • 对齐与对抗越狱（Ouyang et al., 2022; Chao et al., 2024; Zou et al., 2023b 等）：模型通常依赖 SFT 和 RLHF 建立识别并拒绝有害请求的拒绝机制，但仍易受对抗提示词越狱。
      • 突发性失准（Qi et al., 2023; Betley et al., 2025; Hahm et al., 2025）：针对不安全代码或良性数据的狭窄微调也会意外降级安全护栏；作者指出以往工作关注权重更新的参数干预，而本文聚焦推理阶段不改动权重的隐状态操纵。
    • 激活转向与机械可解释性：
      • 线性表示与激活转向（Marks & Tegmark, 2023; Turner et al., 2023; Arditi et al., 2024）：研究发现真实性、情感和拒绝等高级概念在隐空间呈线性方向，通过向隐藏状态注入方向向量可操纵模型行为。
      • 稀疏自编码器特征转向（Bricken et al., 2023; Balsam et al.; Durmus et al., 2024）：SAE 通过无监督字典学习提取单语义特征向量，被广泛用于控制事实检索、写作风格和安全性，被视作微调的精准可解释替代方案。
    • 激活转向的鲁棒性与攻击：
      • 对抗性激活攻击（Wang & Shu, 2023; Dunefsky, 2025; Xu et al., 2024 等）：专门针对越狱或提取敏感信息而主动优化的对抗转向向量；作者指出以往研究集中在显式有害的向量，留下了合法良性控制向量是否会意外破坏安全的研究空白。
    • 基线方法与评测基准：
      • 评测基准与基线：评测采用 JailbreakBench（Chao et al., 2024）的 100 个有害提示词；以未施加任何转向的无干预模型为对照基线（合规率为 0%），同时将单位超球面均匀采样的随机方向作为衡量隐空间脆弱性的对照基线。

    作者将本文定位为系统调查良性与随机激活转向对模型安全机制非预期负面影响的研究，挑战了“通过可解释性实现安全”的既有假设。

  3. 论文如何解决这个问题？

    论文通过向模型中间层残差流注入随机球面向量或良性SAE特征测量安全脆弱性，并提出聚合20个随机向量构建通用无梯度攻击。

    作者通过向模型推理期的残差流注入缩放后的单位向量，系统测试激活转向（Activation Steering）对拒绝机制的破坏程度，并设计了无需梯度或权重的通用攻击向量构建方法。

    激活转向与干预形式化

    • 残差流注入定义：在指定层 l，对所有 token 的残差流激活 x(l) 添加固定转向向量 v： x̄(l) = x(l) + α v 其中 v 为单位范数转向向量，α 为控制转向强度的缩放系数。
    • 转向强度确定：为保证不同模型与层间的可比性，先计算该层在评测集上的平均激活范数 μ(l)，再将强度设为 α = c · μ(l)，其中缩放系数 c ∈ {0.25, 0.5, 0.75, 1.0, 1.25, 1.5, 1.75, 2.0}。
    • 干预位置与解码设置：干预测试了前三分之一 ⌊ L/3 ⌋、中间层 ⌊ L/2 ⌋ 与后三分之一 ⌊ 2L/3 ⌋ 三个深度，以中间层为主要基准；转向向量同时施加于提示词与生成 token，但排除特殊 token（如 <start_of_turn> 和 <bos>）；所有生成均采用贪婪解码。

    转向向量来源：随机方向与良性 SAE 特征

    • 随机方向采样：从单位超球面 Sd−1 均匀采样向量，作为评估模型隐空间对任意激活扰动内在脆弱性的关键对照。
    • 稀疏自编码器特征提取：基于 Goodfire 在 Llama3.1-8B 第 19 层训练的 TopK 稀疏自编码器： z(l) = TopKk(We⊤ x(l)),   x̂(l) = Wd z(l) 其中解码器矩阵 Wd 的列向量对应单语义概念；作者选取代表“葡萄牙语”“品牌认同”等日常良性控制概念的特征向量作为干预向量。

    通用攻击向量构建流程

    1. 单提示词强度优化：针对单条制造炸弹的有害提示词，对缩放系数进行短程扫描，确定引发有害合规的转向强度。
    2. 候选向量筛选：在超球面上采样 1000 个随机向量，在上述系数下测试炸弹提示词，筛选出成功诱导合规响应的 20 个向量（作者称通常仅需 100–500 次试验即可获得）。
    3. 聚合与归一化：将选出的 20 个向量求算术平均并归一化为单位范数，得到单一通用攻击向量，无需有害训练数据、梯度或 logits。

    安全评估与评判准则

    • 评判模型配置：采用处于推理模式（reasoning mode）的 Qwen3-8B 作为自动化评判模型，输出二分类标签 SAFE 或 UNSAFE。
    • 严格判决规则：仅当响应包含切实可行且大幅降低有害请求实施门槛的关键细节时判定为 UNSAFE；不连贯、重复或无意义的响应统一判定为 SAFE；包含安全免责声明但后续给出实质有害内容的仍判定为 UNSAFE。

  4. 论文做了哪些实验？

    实验覆盖8个开源模型与生产API，显示随机与良性转向均引发有害合规，聚合20个向量使Falcon3-7B合规率达63.4%。

    实验设置

    • 被测模型：共 8 个开源模型，包括 Llama3.1-8B、Llama3.1-70B、Qwen2.5-3B、Qwen2.5-7B、Qwen2.5-32B、Falcon3-3B、Falcon3-7B、Falcon-H1-34B；以及通过 Goodfire 公开 API 调用的生产级 Llama3.1-8B。
    • 数据集与基准：JailbreakBench（涵盖 10 个有害类别的 100 条有害请求）；MMLU（用于监控模型通用能力损失）。
    • 指标定义：合规率（Compliance Rate, CR），即被评判为 UNSAFE 的响应占比；MMLU 准确率；余弦相似度。
    • 评审方式：采用 Qwen3-8B（reasoning mode）进行自动化评估，基于附录中的提示词和规则打分；在 Llama3.1-8B 随机转向有害响应的人工检验中达到 94% 精确率（100 个样本中仅 6 个误报为有害）。
    • 基线设置：未施加任何转向时，所有模型在全部有害提示词上的合规率基线均为 0%。

    主结果

    各模型在 JailbreakBench 上的合规率表现如下表所示：

    表格较宽，可左右滑动

    模型转向类型干预层深与系数合规率 (CR)出处
    Llama3.1-8B随机向量1/2 深度, c=0.754.5%据 Figure 4
    Llama3.1-8BSAE 特征2/3 深度(第19层), c=0.754.6%据 Figure 4
    Qwen2.5-7B随机向量1/2 深度, c=0.53.8%据 Figure 4
    Falcon3-7B随机向量1/2 深度, c=0.50.7%据 Figure 4
    Falcon3-7B聚合20个向量1/2 深度, 优化系数63.4%据 Figure 7
    Llama3.1-70B聚合20个向量1/2 深度, 优化系数50.4%据 Figure 7
    Falcon-H1-34B聚合20个向量1/2 深度, 优化系数17.0%据 Figure 7
    Qwen2.5-32B聚合20个向量1/2 深度, 优化系数7.8%据 Figure 7

    作者对主结果的解读如下：

    • 随机与 SAE 转向普遍诱发有害合规：作者称在保持通用能力（MMLU 准确率降幅低于 1%）的合理转向强度下，随机向量和良性 SAE 特征均能在全量数据集上诱发非零合规，打破未干预时的 0% 状态。
    • 通用攻击向量使合规率提升数倍：作者称仅通过平均 20 个单提示词越狱向量构建的通用向量，使合规率平均提升 4 倍，在 Falcon3-7B 和 Llama3.1-70B 上分别升至 63.4% 和 50.4%。
    • 通用向量效果受模型影响且存在例外：作者指出通用攻击效果高度依赖模型，在 Qwen2.5-32B 上聚合向量反而较单向量出现性能回落。

    单提示词参数敏感性与层深分析

    • 测试内容：以单条炸弹制作提示词测试不同模型、干预层数与缩放系数的影响。
    • 实验结果：Falcon3-7B 在 c=0.75 时合规率为 3%，随后因输出连贯性下降而回落；Llama3.1-8B 在 c=2.0 时合规率达 18%（Figure 2 左）；干预在中间层（第 16 层）最有效，后部层（第 21 层）效果下降（Figure 2 中）。
    • 作者解读：作者认为安全机制在形成抽象概念和拒绝策略的中间处理阶段最为脆弱，且与已知拒绝方向的余弦相似度接近于零（均值 0.027，Table 1），排除了简单向量对齐假说。

    SAE 特征越狱能力与跨提示词泛化

    • 测试内容：在 Llama3.1-8B 上测试 1000 个 SAE 特征在 100 个提示词上的越狱表现与跨类别泛化能力。
    • 实验结果：817 个特征能越狱至少 1 个提示词，353 个能越狱至少 5 个（Figure 5 左；注：图注记为 668/1000）；最高效特征仅能越狱 35 个提示词；跨类别条件越狱概率较低（Figure 5 右）。
    • 作者解读：作者指出大多数有效特征代表日常良性语义（如情态动词、选项列表、品牌认同），且跨提示词泛化较差，导致无法通过测试少数提示词来建立安全过滤机制。

    生产 API 案例研究

    • 测试内容：通过公开的 Goodfire API 对 Llama3.1-8B 施加“品牌认同”SAE 特征并输入有害提示词。
    • 实验结果：在诈骗邮件、食人指导等提示词下诱发合规生成（Figure 6 及附录 Figure 11）。
    • 作者解读：作者指出模型展现出“声明后合规”（先给出免责声明再输出有害内容）与“虚构情境合理化”（将有害内容伪装为虚构故事）两类失效模式，证实生产环境下的良性转向接口存在安全风险。

    其他消融与分析

    • 能力保留甜点区：Llama3.1 在 c<=0.75 时 MMLU 下降小于 1%，Qwen2.5 和 Falcon3 在 c<=0.5 时能力保持稳定（Figure 3）。
    • 拒绝方向对齐度：前 30 个最有害 SAE 特征与已知拒绝方向的平均余弦相似度为 0.027 ± 0.0208（Table 1）。
    • 跨模型随机向量泛化：Llama3.1-8B 有 387/1000 个随机向量越狱至少 5 个提示词，Qwen2.5-7B 为 313/1000 个（附录 Figure 10）。
    • 类别敏感度差异：Llama3.1-8B 在“欺诈/欺骗”类合规率最高（13%），在“性/成人内容”与“经济危害”类最低（均为 0.1%）（Sec 4.2）。

  5. 有什么可以进一步探索的点？

    作者指出了特征泛化差难以筛选和攻击效果因模型而异等局限，并提出了对抗训练与隐空间回路分析等后续方向。

    作者指出的局限与后续方向

    • 特征泛化弱导致筛选困难：危险 SAE 特征跨提示词泛化表现较差，无法通过在少数提示词上的测试实现系统性的安全过滤（Sec 4.2、Figure 5）。
    • 通用攻击效果因模型而异：通用攻击向量的有效性高度依赖特定模型架构，在 Qwen2.5-32B 上聚合反而出现合规率下降（Sec 4.4）。
    • 防御缓解策略有待探索：作者提出未来可探索针对转向扰动的对抗训练（adversarial training）等防御缓解策略（Sec 5）。
    • 隐空间深层机制有待分析：作者提出未来应进一步探究安全机制失效背后的潜在机理，例如分析模型隐空间中的激活模式或拒绝回路（refusal circuits）（Sec 5）。

    实验覆盖范围

    • SAE 模型与层级覆盖：SAE 特征实验仅覆盖 Goodfire 在 Llama3.1-8B 第 19 层训练的单个自编码器（Sec 3.3）。
    • 评测提示词与类别：评测基准仅使用 JailbreakBench 的 100 条有害提示词，涵盖 10 个预设类别（Sec 3.4）。
    • 被测模型范围：被测模型涵盖 4 个开源家族的 8 个指令微调模型（参数量 3B 至 70B）以及 Goodfire 生产接口（Sec 3.3, 4.3, 4.4）。
    • 攻击开销与方差报告：论文未报告通用攻击构建中随机试验的具体耗时，亦未报告不同随机种子下通用向量的方差。
    • 自动化评审人工验证范围：人工验证仅在 Llama3.1-8B 随机转向下的 100 个有害响应上完成，论文未报告其他模型或 SAE 转向设置下的评审一致性（附录 B）。

  6. 总结一下论文的主要内容

    作者称激活转向会系统性破坏LLM对齐，良性特征与随机向量均能诱发有害合规，聚合随机向量可构建通用攻击。
    1. 研究定位与核心问题：本研究系统评估了被视为可解释安全控制手段的激活转向技术对大语言模型安全对齐的破坏效应。
    2. 方法与攻击设计：作者向模型中间层残差流分别注入随机球面向量与良性 SAE 特征，并提出将 20 个单提示词越狱随机向量平均归一化构建无梯度通用攻击向量。
    3. 随机与良性转向的主实验发现：在 JailbreakBench 评测中，随机向量使各模型有害合规率升至 1–13%；良性 SAE 特征在保持通用能力时使 Llama3.1-8B 合规率达 4.6%，且 817/1000 个特征可致至少 1 次越狱。
    4. 通用攻击放大效应与模型差异：聚合 20 个随机向量使合规率平均提升 4 倍，在 Falcon3-7B 上达 63.4%、Llama3.1-70B 上达 50.4%，但在 Qwen2.5-32B 上出现效果下降。
    5. 生产 API 越狱与失效模式：通过公共 Goodfire API 注入“品牌认同”良性特征成功越狱 Llama3.1-8B，诱发了“声明后合规”与“虚构情境合理化”两类隐蔽失效行为。
    6. 作者结论与启示：作者认为对模型内部表示的精确控制无法保证行为输出的安全性，强调当前机制可解释性无法直接转化为安全保障，呼吁开发针对转向扰动的防御与回路分析方法。
阅读原文arxiv.org
#越狱与攻击