Apple 研究者发现抑制单个神经元即可绕过 LLM 安全对齐

这篇论文试图探究大语言模型的安全对齐究竟是广泛分布于全网参数中，还是由个别关键神经元因果介导，并检验干预单个神经元是否足以击穿安全防线或诱导有害知识。

• 现有假设与场景：主流对齐实践通常假设安全源于模型权重的整体重组，整个网络共同学习识别和拒绝有害请求，因而对局部微小扰动具有鲁棒性。这一假设是评估模型安全边界和设计防御方案的核心基础。
• 现有方法的不足：以往机制可解释性工作（如残差流拒答方向消融）需要跨所有层进行全局干预，而神经元层面的剪枝攻击通常需要移除成百上千个神经元（占层内神经元的 0.6% 至 3%），未能将因果单元隔离至单个神经元。
• 核心观察与假设：MLP 层的门控非线性激活（如 SiLU/SwiGLU）构成了具有明确语义的特权基底。作者认为大语言模型的安全机制由两套系统构成：控制有害知识是否表达的拒答神经元门控，以及编码有害知识本身的概念神经元底座。
• 论文提出的方法：作者提出了无需训练、微调或提示工程的单神经元干预方法，通过抑制单个拒答神经元绕过显式有害请求的安全拒绝，并通过放大单个概念神经元从良性输入诱发有害内容。
• 威胁模型：
  • 攻击目标：攻击者旨在通过抑制拒答门控使模型响应显式有害请求，或通过放大概念神经元诱使模型在良性提示词下输出有害内容。
  • 攻击者知识：攻击者需具备对模型激活的白盒（white-box）访问权限，无需获知训练数据或优化器状态。
  • 攻击者能力：攻击者无需进行训练、微调或提示工程，仅在推理阶段（prefill 与生成阶段）通过前向钩子修改单个 MLP 神经元的单个标量激活值。
  • 受害系统：覆盖 1.7B 至 70B 参数规模的开源指令微调大语言模型（Qwen3 与 Llama-3.1 家族）。

论文相关研究主要涵盖线性拒答特征、神经元级攻击、安全可解释性及提示词越狱等方向：

• 线性特征层面的拒答机制
  • Arditi 等人（2024）——提出残差流中存在由单一方向介导的拒答机制，作者称在每一层消融该方向即可抑制拒答行为；本文与其区别在于将干预范围从跨所有层的全网方向缩小至单层中的单个标量 MLP 激活。
  • Joad 等人（2026）——提出不同拒答类别对应几何上不同的方向，但仍可作为共享行为控制旋钮；Siu 等人（2025）扩展了残差流拒答方向识别框架。
  • Zou 等人（2023a）与 Zheng 等人（2024）——引入表征工程框架进行概念方向控制，提出有害性与拒答在残差流中被编码为不同方向。
• 神经元层面的安全攻击
  • Wei 等人（2024）——提出剪枝约 3% 的安全关键神经元即可在保留能力的同时降低对齐效果。
  • NeuroStrike（Wu 等人，2025）——利用逻辑回归探针识别安全神经元，在目标层剪枝不足 0.6% 的神经元（数十至数千个），在 20 多个开源模型上取得 76.9% 平均 ASR；本文将干预单元缩减至单层的单个神经元。
  • Luo 等人（2024）与 Zhao 等人（2026）——分别提出在句子结束 token 位置进行 MLP 重新加权攻击，以及基于 MLP 激活分析识别安全知识神经元并提出校准攻击。
• 安全机制的可解释性与知识定位
  • Chen 等人（2024）——通过激活对比定位安全神经元并指出约 5% 的神经元因果解释了超 90% 的安全行为，且提出这些神经元在预训练基座模型中已然存在；作者称本文将这 5% 的神经元集合缩减为单个因果充分单元。
  • Lee 等人（2025）与 SafeNeuron（Wang 等人，2026）——前者使用稀疏自编码器（SAE）提取拒答上游特征；后者在微调中冻结已识别的安全神经元以促使安全行为更广泛分布。
  • Geva 等人（2021）、Dai 等人（2022）与 Templeton（2024）——分别将 MLP 层建模为键值记忆、识别事实知识神经元，以及通过 SAE 提取危险内容等概念特征；本文概念神经元无需学习分解即可直接在原生神经元中定位。
• 提示词层面的越狱工作
  • GCG（Zou 等人，2023b）、PAIR（Chao 等人，2025）与 TAP（Mehrotra 等人，2024）——通过对抗后缀或自动化红队提示搜索攻击对齐，不触及模型内部表征。
• 对比基线与基准
  • 对比基线：Arditi 等人（2024）的全网络残差流拒答方向消融方法、未干预的原始模型基线，以及针对有害提示词检测的 Llama-Guard-3-8B 分类器。
  • 评测基准：JailbreakBench（100 行为）、HarmBench（191 行为验证子集）、XSTest（450 条提示词）、MMLU、GSM8K，以及用于概念探测的 The Pile 未受版权保护子集。
• 本文定位：作者指出以往研究识别的皆为全网分布方向、神经元集合或 SAE 特征，而本文旨在探究安全关键瓶颈的下界是否可以缩减至单个神经元。

论文提出将大语言模型安全拆解为拒答门控与概念底座两个系统，通过单神经元干预框架（包括常数干预与动态锚定干预）实现安全绕过与概念诱导。

神经元发现与初筛评分

• 特征挂载位置：在模型前三分之二层的 MLP 模块中，对降投影前的中间激活挂载前向钩子。激活形式为 h = \phi(W_{gate}(x)) \odot W_{up}(x) \in \mathbb{R}^{d_{ff}}，其中 ϕ 为 SiLU 激活函数，每个标量坐标 h_i 即为一个神经元。
• 拒答对数几率损失：计算损失函数 ℒ = −log (p_refusal)/(1 − p_refusal) 关于激活 h 的梯度，其中 p_refusal 为模型在预设拒答短语（Table 4）上的总概率质量，计算位置为指令结束后的指定 token 位置集合 T（Table 3）。该公式用于量化神经元激活对拒答倾向的边际影响。
• 评分准则：在包含 N_H = 128 条有害与 N_h = 128 条良性提示词的训练集上，计算有害与良性梯度的均值，得到组合梯度 G_i,t；单 token 得分为 score_i,t = G_i,t × (a^(h)_i,t - a^(H)_i,t)。
• 筛选条件：选取使得分最大的 token t* 作为最终得分，并施加激活幅度约束 |a^(H)_i,t*| > |a^(h)_i,t*|，确保候选神经元在有害输入上的激活强度高于良性输入。

经验重排与常数干预

• 重排原因：作者称初筛得分仅捕捉训练提示词上的局部梯度-激活信号，无法直接预测完整自回归生成行为下的攻击成功率，因此需对初筛排名前 5 的候选神经元进行实证重排。
• 倍率搜索：在 HarmBench 验证集（191 条行为）上，沿神经元有害激活的反方向扫描倍率 m，搜索范围为 0 至 20（步长 2）以及 20 至 200（步长 5），选取验证集 ASR 最高的层、索引与倍率三元组 (l, i, m*)。
• 常数干预机制：在推理阶段（包含 prompt prefill 和自回归生成），通过在 down_proj 注册前向预钩子（forward pre-hook），将选定神经元的激活直接固定为常数 h_i ← m*。

动态锚定干预（Anchor-based Intervention）

• 设计动机：当 |m*| 较大时，常数干预会无视上下文将神经元强行固定在远离正常分布的绝对值上，导致正常生成文本的连贯性受损与通用能力下降。
• 提示词自适应缩放：在生成前执行一次无钩子的前向传播，读取该神经元在指令后 token 集合 T 上的自然激活并汇总为标量 v（当有害激活差值 d > 0 时取最大值，当 d < 0 时取最小值）。
• 生成钩子机制：动态干预按公式把激活钳位在经验范围，其中缩放参数 k ∈ {1, 2} 在 HarmBench 上选定。若输入激活偏向有害方向，激活被推向 m*；若自然激活接近零，则仅施加微小偏移，以此保留通用能力。

概念神经元放大（Suicide Neurons）

• 候选识别：在 The Pile 未受版权保护子集（20K 样本）中检查使各 MLP 神经元激活最高的语料片段，发现部分神经元在自残与自杀内容上高度集中。
• 加性干预：与拒答神经元的直接赋值不同，概念神经元采用加性钩子 h_i ← h_i + m，在 prefill 和生成阶段对神经元固有的自然贡献进行持续正向放大。
• 评测协议：在 20 条良性提示词（Figure 11）上进行贪心解码测试，由大语言模型裁判在提及概念（M）、语言连贯（C）和切题性（P）三个维度上评估。

实验设置

• 被测模型：共 7 个开源指令微调模型，包括 Qwen3 家族（Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen3-14B、Qwen3-32B，均关闭思考模式）与 Llama-3.1 家族（Llama-3.1-8B、Llama-3.1-70B）；另对 4 个公开 base 模型（Qwen3-1.7B-Base、Qwen3-4B-Base、Qwen3-8B-Base、Qwen3-14B-Base）进行了预训练激活检验。
• 数据集与基准：训练集采用 128 条有害提示词（源自 AdvBench、MaliciousInstruct、TDC2023）与 128 条 Alpaca 良性提示词；验证集为 HarmBench 的 191 条子集；测试集为 JailbreakBench 的 100 条行为；检测评测使用 XSTest（450 条，200 有害 / 250 安全）；通用能力评测使用 MMLU 与 GSM8K；语料分析使用 The Pile 未受版权保护子集（20K 样本）。
• 对比基线：全网络残差流拒答方向消融基线（Arditi 等人，2024）、未干预的原始模型基线，以及残差流单特征干预基线；检测实验中对比专用安全分类器 Llama-Guard-3-8B。
• 指标定义：攻击成功率（ASR，百分比）、MMLU 准确率变化值（Δ）、GSM8K 准确率变化值（Δ）、检测指标（AUROC、准确率 Acc、F1 分数、精确率 Prec、召回率 Rec）。
• 评审方式：ASR 由两套独立评审系统判定，主评审为 Claude（当回答兼具非拒答且语义连贯时判定为成功，提示词见附录 K.1），辅助核验为 Llama-Guard-3-8B（被标记为 unsafe 则计为成功）；概念放大实验由 Claude 评审 M、C、P 三个维度（附录 K.2）。
• 生成与采样设置：所有实验在单个 NVIDIA B200 GPU 上运行，使用 bfloat16 精度与贪心解码（temperature = 0），最大生成长度为 512 tokens（概念生成为 500 tokens）。

主结果

下面展示 7 个模型在测试集 JailbreakBench 上的攻击成功率（ASR）对比（据 Table 8）：

表格较宽，可左右滑动

• 单神经元干预攻击表现：作者称修改单层单个神经元的标量激活足以使安全对齐失效，所有模型在常数干预下的 ASR 均大幅高于无干预基线（无干预时 LLM Judge 判定 ASR 为 4% 至 19%，据 Figure 2），并与消融全网络残差流方向的 Arditi 基线处于同一水平（据 Table 8）。
• 验证集参数迁移表现：作者报告在 HarmBench 上选取的干预倍率与缩放参数无需在测试集重新调优即可有效迁移，在 JailbreakBench 测试集上维持了相近的攻击水平（据 Table 8）。
• 模型尺度表现差异：除最小尺寸的 Qwen3-1.7B 攻击成功率相对较低外，其余 6 个模型在常数与锚定干预下均保持高度一致的攻击成功表现（据 Table 8）。

通用能力保留实验

• 测了什么：在 MMLU（通过选项 log 概率评测）与 GSM8K（贪心生成提取答案）上测量常数干预、锚定干预与 Arditi 基线相对于原始无干预模型的精度绝对变化值（Δ）（Table 9）。
• 实验结果：常数干预导致 MMLU 平均下降 8.8 个百分点、GSM8K 下降 1.2 个百分点，其中 Llama-3.1-70B 的 MMLU 降幅达到 18.2 个百分点；锚定干预使 MMLU 平均降幅收窄至 0.6 个百分点、GSM8K 平均降幅收窄至 0.1 个百分点；Arditi 基线的平均变化为 MMLU 下降 0.3 个百分点、GSM8K 下降 0.5 个百分点（Table 9）。
• 作者的解读：作者认为常数干预施加固定绝对值破坏了上下文分布，而动态锚定干预按自然激活幅度进行上下文敏感缩放，在保留攻击成功率的同时基本消除了对通用能力的破坏。

单神经元有害提示词检测实验

• 测了什么：在包含 200 条有害和 250 条对抗性安全提示词的 XSTest 数据集上，直接对单个拒答神经元在指令后 token 的聚合激活设定阈值，评估其分类性能并与 8B 专用分类模型 Llama-Guard-3-8B 对比（Table 2、Table 6）。
• 实验结果：在 7 个模型中，6 个模型的单神经元检测 AUROC 维持在 0.902 至 0.969 之间，仅 Qwen3-1.7B 为 0.853；Llama-3.1-8B 的单神经元准确率达到 90.2%（与 Llama-Guard-3-8B 的 90.2% 持平），召回率达到 0.950（高于后者的 0.834），精确率为 0.848（低于后者的 0.949）（Table 6）。
• 作者的解读：作者称仅利用第 11 层的单个标量激活即可实现与经过完整前向传播的专用 8B 安全分类器相当的辨识效果。

自残概念神经元放大实验

• 测了什么：在 20 条良性提示词上，对 Qwen3-1.7B（L20:F4256）、Qwen3-8B（L26:F4061）和 Qwen3-14B（L32:F9115）的自残概念神经元施加不同强度的加性常数放大，统计提及概念（M）、连贯且提及（M+C）以及切题连贯且提及（M+C+P）的提示词数量（Figure 9）。
• 实验结果：随着干预强度增加，3 个模型在达到最高测试强度时，20 条提示词均 100%（20/20）输出了自杀自残内容；其中 Qwen3-1.7B 有 17 条、Qwen3-8B 有 16 条、Qwen3-14B 有 18 条回答在包含自杀内容的同时保持了语言连贯并切合原始良性提示词主题（Figure 9）。
• 作者的解读：作者称这表明有害知识同样可以高度局部化于单个神经元，放大单个神经元会使模型自发将有害概念编织到良性生成任务中。

其他消融与分析

• 预训练基座模型拒答神经元激活（Figure 6）：Qwen3-8B-Base 均值激活有害 -0.75 vs 良性 -0.04；Qwen3-14B-Base 有害 -1.87 vs 良性 -0.04。
• 残差流单特征干预 ASR（Figure 17）：Llama-3.1-8B 最高特征 ASR 为 45%，Qwen3-8B 最高特征 ASR 为 39%，均低于对应 MLP 神经元。
• 拒答方向几何余弦相似度（Table 7）：Qwen3-1.7B（|s1|=0.186, p≤3×10^-13）与 Llama-3.1-70B（|s1|=0.168, p≤1×10^-47）余弦值排名第一的神经元与梯度法选出神经元完全重合。
• 候选拒答神经元 HarmBench ASR 跨度（Figure 3）：各模型前 5 候选的 ASR 区间为 Qwen3-1.7B 74%–77%、Qwen3-4B 70%–96%、Qwen3-8B 42%–93%、Qwen3-14B 36%–96%、Qwen3-32B 68%–91%、Llama-3.1-8B 21%–95%、Llama-3.1-70B 16%–95%。

作者指出的局限与后续方向

• 概念神经元覆盖范围：概念神经元的因果诱导仅在自残/自杀相关内容上进行了概念验证，对其他有害概念领域的全面调查留待后续工作（出自 Section 4 与 Section 6）。
• 干预倍率选取方法：常数干预乘数 m* 目前是通过在验证集上进行经验扫描选取的，更具原则性的确定方法仍有待探索（出自 Section 6）。
• 概念神经元跨模型泛化性：概念神经元是否能泛化至其他有害概念以及其他模型家族，仍是一个悬而未决的问题（出自 Section 4）。

实验覆盖范围

• 被测模型范围：实验覆盖 Qwen3 家族（1.7B、4B、8B、14B、32B）与 Llama-3.1 家族（8B、70B）共 7 个开源指令微调模型，未评测开启思考模式（thinking mode）的推理模型。
• 基准与提示词数量：攻击评测基于包含 191 条行为的 HarmBench 子集和 100 条行为的 JailbreakBench；概念放大实验仅在 20 条良性提示词上进行评估。
• 基座模型检验范围：仅对公开了 base 权重的 4 个 Qwen3 模型（1.7B、4B、8B、14B）进行了预训练激活检验。
• 安全检测基准范围：单神经元检测实验仅在包含 450 条提示词的 XSTest 基准上进行评估，对比对象为 Llama-Guard-3-8B。
• 干预实现层级：所有干预均假定攻击者具备模型激活的白盒访问权限，未在仅有黑盒 API 调用的场景下开展实验。

• 论文定位：本文是一项关于大语言模型安全对齐机制的因果干预与可解释性研究，作者称展示了使安全对齐失效的因果干预下界为单个神经元。
• 核心问题：探究模型安全是对齐训练带来的全网权重广泛重组，还是依赖集中且脆弱的关键神经元介导，进而检验局部单神经元扰动对模型拒答与有害内容生成的影响。
• 方法设计：基于拒答短语对数几率损失的梯度与激活评分定位候选 MLP 神经元，经经验重排后在推理期对单个神经元实施常数钳位；进一步设计依据输入自然激活动态缩放的锚定干预以保护模型效用；针对概念神经元则采用加性常数放大。
• 核心实验结果：
  • 在 JailbreakBench 上跨 7 个模型（1.7B 至 70B 参数），常数干预取得 91.7% 的 LLM Judge 平均 ASR（LlamaGuard 判定下为 91.9%，据 Table 8）。
  • 动态锚定干预在 JailbreakBench 取得 90.4% 平均 ASR 的同时，将 7 个模型的 MMLU 平均绝对降幅从常数干预的 8.8 个百分点收窄至 0.6 个百分点（据 Table 8、Table 9）。
  • 在 20 条良性提示词上放大自残概念神经元，Qwen3-1.7B、Qwen3-8B 与 Qwen3-14B 均在最高干预强度下实现 20/20 的自残内容诱导，且多数保持连贯切题（据 Figure 9）。
  • 单个拒答神经元激活在 XSTest 上展现出检测能力，Llama-3.1-8B 单神经元分类器取得 0.969 的 AUROC 与 90.2% 的准确率，召回率 0.950 高于 Llama-Guard-3-8B 的 0.834（据 Table 6）。
• 作者结论与启示：作者认为大模型安全由拒答神经元门控与概念神经元底座共同介导，且拒答神经元早在预训练阶段即已编码相关辨识信号；这一高度集中的脆弱性表明当前安全对齐并未实现鲁棒的全局参数重组，激励后续探索对单组件干预更具韧性的对齐新策略。