研究揭示 Transformer 拒答机制中的组件与维度稀疏性

激活转向通常只改残差流上的一个点，并不分辨是哪些 attention 与 MLP 把 refusal 方向写进残差流。

• 场景： 激活转向不训练模型，直接改内部激活以调控拒答等行为。作者认为现有方法多在残差流单一位置做加法或正交化，未解析转向向量由哪些组件组装（引言）。
• 现有不足： Arditi et al. (2024) 的方向正交化能抑制 refusal 方向，但不回答哪些组件把它写入残差流。神经元级电路常用激活修补看因果必要性；本文问的是一组组件是否足以复现转向的行为效果（Section 2.3）。
• 核心观察： 作者报告拒答转向集中在稀疏组件，并在这些组件内进一步集中于约一半残差维度，认为这与 privileged basis 一致，而不是方向在任意坐标系里都稀疏。
• 本文做什么： 在四个 open-weight 模型上，于各自峰值层取出 difference-in-means 方向 r*，把正交化下放到上游组件输出，再用静态坐标掩码检查维度稀疏。成功与否用有害提示上的 ASR 衡量，由 LlamaGuard 3 判定回复是否有害。
• 干预设定： 干预去掉激活在 r* 上的投影，以抑制拒答。作者读取开源权重的激活并改组件输出；论文未使用 white-box、black-box 等术语，也未把该设定写成攻击者威胁模型。

拒答表征

• 线性与子空间： Arditi et al. (2024)、Wollschläger et al. (2025)、Marshall et al. (2024) 把拒答写成激活空间中的线性方向、仿射函数或多维子空间。论文指出微调（Lermen et al., 2023; Yang et al., 2023; Qi et al., 2024）和对抗提示（Andriushchenko et al., 2024; Zou et al., 2023b; Chao et al., 2023）可以绕过这些机制。

激活转向

• 方向与运算： Zou et al. (2023a)、Turner et al. (2023)、Panickssery et al. (2023)、Arditi et al. (2024) 在激活空间找行为方向，用向量加法或正交化调制；方向常从对比数据对提取（Burns et al., 2023; Arditi et al., 2024）。概念移除见 Ravfogel et al. (2020)、Siu et al. (2025b)。
• 干预位置： 论文指出先前工作通常在残差流单一位置干预（Arditi et al., 2024; Siu et al., 2025b）。多维转向子空间见 Wollschläger et al. (2025)、Siu et al. (2025c)；本文只分解单一方向、单一层。

机制可解释性

• 电路： Elhage et al. (2021)、Conmy et al. (2023)、Lieberum et al. (2023) 找出负责特定行为的稀疏注意力头与 MLP 神经元，包括间接宾语识别（Wang et al., 2022）和事实召回（Meng et al., 2023）。激活修补与路径追踪提供因果方法（Goldowsky-Dill et al., 2023; Heimersheim & Nanda, 2024）。
• 基与写入： 特权基假设认为高显著性特征相对坐标轴对齐（Elhage et al., 2022a; Gurnee et al., 2023）。组件交互被写成独立子空间写入（Elhage et al., 2022b; Ivanov et al., 2026）。Siu et al. (2025c) 报告正交化可集中在高幅度尾；Arora et al. (2026) 报告语言模型在神经元基上稀疏。论文称后一效应此前未在直接转向激活时展示。

基线与数据

• 基线： 在 l* 输入处正交化稠密 r*，即先前工作的残差流单点干预；能力实验另对照“转向全部上游组件”。论文未把其他已发表攻击方法当作实验对照。
• 数据： 有害提示来自 AdvBench、HarmBench、JailbreakBench、Malicious Instruct、StrongREJECT、TDC2023；无害提示来自 ALPACA。

作者把本文放在组件级充分性分解：定位一个足以复现转向效果的集合，而不是证明神经元电路的最小性，也不是刻画完整 refusal 子空间（Section 2.3）。

整体是把残差流单点正交化拆成组件输出上的正交化，再用贪心后向消除找一个充分子集，并在该子集上加同一套坐标掩码。

问题设定

• 残差流： 每层把 attention 与 MLP 的输出加进共享残差流，因此可以只改某一个组件的输出，残差连接本身不改（Figure 1）。在层 l* 的输入处正交化，拦截的是 embedding 以及层 0 到 l*−1 的 attention 与 MLP，共 2l*+1 个上游组件。
• 方向与运算： 有害集 D+、无害集 D− 上，最后一条 post-instruction token 的差均值方向为 r_i,l=𝔼_{t∈ D⁺}[x_i^(l)(t)]−𝔼_{t∈ D⁻}[x_i^(l)(t)]。对激活 v 的正交化为 v′=v−(v· r^∗)/(|r^∗|²)r^∗。转向一个组件集合，就是对其中每个组件的输出独立做这一运算。
• 分析对象： 每个模型只选一个峰值层、一个方向。作者明确：所建立的是这一条方向如何被组装，而不是完整 refusal 子空间（Section 2.3）。充分性而非最小性是所依赖的性质；贪心程序返回一种分解。

层选择

• 扫描： 每一层输入提取 DIM 方向，并在该层输入做残差流正交化，用全测试集 ASR 选最高的层 l*（Section 3.1）。ASR 是有害提示中被 LlamaGuard 3 判为有害回复的比例。Appendix C 的 Figure 6 标出峰值方向；正文未给出各层 ASR 数字。
• 超参： Table 8 的目标层为 Phi-4-Mini 14、Gemma-2-2B-IT 13、Mistral-Small-3.2 17、Qwen3-4B 19；token 位置均为 −1。

两阶段组件识别

• 为何贪心： 子集空间为 2^{2l*+1}，精确搜索不可行。残差流有冗余，去掉一个组件后其他组件可能补偿（Section 3.2，Appendix J）。作者把识别当作实用分解，不声称最优。
• Stage 1： 从全部上游组件开始，每次去掉使“有害激活在 l* 输入处对 r* 的平均投影”下降最少的组件。直到再去掉任一剩余组件会使投影改进低于全组件基线的 α=0.95。用投影是为了连续信号，并避免不连贯输出抬高 ASR。
• Stage 2： 在完整验证集上，贪心去掉使 ASR 下降最小的组件，直到再去掉会使 ASR 绝对下降超过 τ=0.05。行为是否成立只由 Stage 2 判定。两个阈值都是自由参数；验证集上 ASR 下降不可区分时，按名称顺序打破平局。
• 结果形态： embedding 在四个模型上都不被该过程保留（Table 1 注）。Table 1 列出的注意力层与 MLP 层为：Gemma2-2B-IT 的 {4,6,9,10,11} 与 {4,6–12}；Qwen3-4B 的 {12,14,16,18} 与 {6,12,14–18}；Phi4-Mini 的 {9,13} 与 {4,6–13}；Mistral-3.2-Small 的 {8,11} 与 {9–16}。

维度掩码与数据

• 掩码： 对范数阈值 t，取最少坐标，使这些坐标上 r* 分量的平方和至少为 t 乘 ||r*||^2。投影只在这些坐标上进行。掩码由静态 r* 算一次，推理时用于全部 token，不做逐激活自适应。Section 4.2 采用 95% 范数阈值。
• 一处不一致： Table 8 把 Qwen3-4B 的 Norm Explained 写成 97.5%，并称其对应 Table 1 的维度与 ASR；Table 4 在 t=95% 给出 Qwen 的 k=53.1%，与 Table 1 的 53.1% 相同。论文未说明二者如何对应。
• 划分： 方向在训练集 256 条上生成，机制识别在验证集 463 条上做，报告结果为测试集 512 条上的泛化。有害提示来自六个基准的混合，无害提示来自 ALPACA。模型为 Qwen3-4B、Mistral-Small-3.2-24B-Instruct-2506、Phi-4-Mini-Instruct、Gemma-2-2B-IT。
• 未采用的搜索： Appendix B 说明贪心加性搜索会在拒答尚未被克服时度量边际增益，且顺序敏感；穷举在 n=20 时已超过一百万次全量生成；ASR 不可微，代理损失不保证最大化行为 ASR；Shapley 要求联盟价值与加入顺序无关，而残差流不满足这一点。

实验设置

• 模型： Gemma-2-2B-IT、Qwen3-4B、Phi-4-Mini-Instruct、Mistral-Small-3.2-24B-Instruct-2506。回复是否有害由 LlamaGuard 3 判定。
• 数据： 有害提示混合自 AdvBench、HarmBench、JailbreakBench、Malicious Instruct、StrongREJECT、TDC2023，训练 256、验证 463、测试 512。无害提示来自 ALPACA，条数未报告。
• 基线： l* 输入处正交化稠密 r*，即 Appendix C 层扫描的峰值单点干预。能力实验另有转向全部上游组件的稠密干预。
• 指标： ASR。Table 1 的 Mechanism ASR 是相对该残差流单点基线的百分比。能力指标为 MMLU 0-shot 准确率、GSM8k 准确率、Pile 困惑度。
• 协议： 方向用训练集，机制识别用验证集，正文称报告结果为测试集泛化（Section 3.3）。Appendix K 写测试 ASR 的 n=512。主 ASR 未报告重复次数。旋转实验 N=5（Table 4）。
• 能力协议： 两种干预都重参数化进注意力输出投影与 MLP down 投影，用 vLLM 与 inspect evals 评测，生成上限 2048 token。MMLU 13,937 条，GSM8k 1,319 条；Pile 为 64 批、每批 8 条、最长 512 token，论文写 approximately 179k tokens（Appendix M）。

主结果

Swipe horizontally to read the table

模型（Table 1）	占上游组件	机制 ASR	稀疏维 ASR	所用维度
Gemma2-2B-IT	48.1%	88.3%	85.7%	51.0%
Qwen3-4B	28.2%	90.9%	87.8%	53.1%
Phi4-Mini	37.9%	96.5%	93.2%	54.3%
Mistral-3.2-Small	28.6%	100.5%	98.6%	54.3%

据 Table 1。机制 ASR 相对残差流单点基线。超过 100% 表示该机制比单点干预更有效。

• 作者的概括： 作者报告机制平均占上游组件 35.7%，并称多数上游组件对拒答转向是冗余的。摘要写 28–48% 组件保留 88–101% 的转向效果；Section 4.1 写 28.2%–48.1%、88.3–101%，并把分母说成 full-component steering effect。Table 1 标题写的分母是残差流单点基线。
• 稀疏维的分母： 摘要称约 50% 维度保留 component-mechanism baseline 的 85–98%。Section 4.2 写把掩码用到机制上后，保留 85.7–98.6% of full steering effectiveness。Table 1 列名写 % of Full。三处用词不同，数字与 Table 1 的 85.7%、87.8%、93.2%、98.6% 对应。
• 补集： 只转向被排除的组件时，Gemma2-2B 与 Phi4-Mini 的绝对 ASR 为 1.6% 与 3.3%；Mistral-3.2-Small 与 Qwen3-4B 为 17.8% 与 34.6%，且用的组件多于稀疏机制（Section 4.1，Figure 3）。作者认为后两模型的拒答更冗余；主机制仍分别达到单点基线的 100.5% 与 90.9%。原因是架构、训练还是规模，作者称为 open question。

维度稀疏与坐标对照

• Figure 2： 在残差流上扫描范数阈值 50%、70%、80%、90%、95%、97.5%。图注称：95% 阈值、约 50% 维度时，四模型都恢复 full steering ASR 的 90% 以上，部分超过稠密基线；预算低于 50% 范数阈值后下降变快。正文未给出各阈值的逐点 ASR。作者称约 10% 隐藏维度最多保留 50% 转向效果，并认为被排除的低幅度维度引入噪声、略微压低信号。
• 旋转： 只旋转方向、不旋转激活。同样取 k=|S_0.95| 个高幅度坐标时，相对 ASR 为 Gemma2-2B-IT 0.6%、Mistral-3.2-Small 11.2%、Phi4-Mini 1.8%、Qwen3-4B 10.8%，原生基为 101.5%、96.8%、100.6%、99.0%；N=5，标准差 0.003、0.005、0.002、0.005（Table 4）。作者称稀疏性依赖与残差流坐标系的对齐。
• 底幅度： Table 3 只用底幅度坐标、解释互补范数的 90% 或 95% 时，相对 ASR 为 Gemma 1.99% / 1.10%，Phi 2.46% / 2.25%，Mistral 14.35% / 12.30%，Qwen 14.73% / 14.32%。所用维度为 45.7%–59.9%。作者称有效性不由维度预算单独决定，而集中在 r* 的高幅度坐标。

能力保持

Table 2 是相对未修改模型的变化。∆Full 为全部上游组件的稠密干预；∆Mech 为稀疏机制加 95% 范数坐标掩码。负的准确率变化、正的困惑度变化是退化。

作者称 12 个模型–基准格子中有 10 个是稀疏机制的退化不大于稠密干预，差距最大的是 Phi4-Mini：稠密干预 MMLU −22.44、GSM8k −28.13、Pile +2.593；机制为 −1.98、−1.36、+0.113。表中机制退化更大的两格是 Gemma2-2B 的 GSM8k（−2.96 对 −1.59）和 Mistral-3.2-Small 的 GSM8k（−0.99 对 −0.76）。Qwen3-4B 的 GSM8k 两项均为正（+0.08、+0.38），其 Pile 上机制为 −0.021。基线准确率为 Gemma 58.07 / 46.32、Phi 72.36 / 86.66、Qwen 75.45 / 89.61、Mistral 83.24 / 95.68；Pile 基线困惑度为 10.83、9.64、10.50、6.06。

组件如何写入方向

• Figure 4： 机制内各组件的差均值输出在 r* 上的标量投影。作者称四模型合计重建 ||r*||^2 的 50–63%，其余来自被剪掉、单项未过阈值的组件。注意力的单项贡献最大；MLP 更小、更分散。Qwen3-4B 的 MLP 层 12 与 14 为负，即逆着 refusal 方向写；作者称直接剪掉会使 ASR 下降约 0.1。Mistral 与 Qwen 各有一个较早的 attention，贡献大于许多更靠近 l* 的组件，尽管位于上游 7–10 层。
• Figure 5： 各组件在 |r*_i| 最高 10% 坐标上的写入，输出做单位 L2 归一化。作者称高幅度写入分布在所选坐标各处，并不贴着 refusal 方向的包络，因而维度稀疏是各组件自身稀疏写入的合计，不是全体组件写入同一子空间。作者同时指出：均值接近 0 可能是贡献真小，也可能是非单峰分布互相抵消。
• Figure 8： 作者称 MLP 在有害与无害提示上多朝 r* 写；部分 attention 在有害上为正、无害上接近 0 或为负。正文未给出余弦相似度数字。Appendix I 的留一下降见图，正文未列各柱数值。Appendix J 称第一轮未剪枝集合上留一，四模型 ASR 下降接近 0。

其他消融与分析

• Appendix K：α 取 0.90、0.95、0.99，τ 取 0.02、0.05、0.10。作者称测试 ASR 与工作点大约相差五点以内，机制规模在组件预算 D 的 20–56%。Table 5 的 α=0.90 测试 ASR 为 0.740、0.740、0.691、0.727（Gemma、Phi、Qwen、Mistral），同表工作点为 0.764、0.924、0.893、0.859。全组件绝对 ASR 为 0.834、0.959、0.949、0.936。该表分母是全组件转向，与 Table 1 的残差流单点分母不同。
• 同一配置重跑：Phi 与 Mistral 与所报告机制相同；Gemma 同规模但差一个组件，测试 ASR 0.764 对所报告的 0.781；Qwen 多留一个组件，0.893 对 0.855。τ 扫描的成员关系全部嵌套；α=0.95 不是 α=0.99 的子集，四个模型都不成立。
• Appendix L：ASR 下降相差 0.005 以内视为平局，占消除步的 55%–73%。三种随机种子加确定性基线，平均两两 Jaccard 0.66–0.88，不变核心 8–12 个组件，同一模型内测试 ASR 最多差 2.8 点。
• Appendix D：r* 坐标大致以 0 为中心、重尾。超过 2.5×IQR 的异常点，Phi4-Mini 为 1 个，Qwen3-4B 为 8 个；符号跨模型不一致。图中的 μ、σ 未写入正文。
• Appendix O 给出全残差流、组件稠密、组件稀疏三种条件下的示例回复。作者称流畅性大体保持，并转述先前工作：转向可能与其他安全行为纠缠。

作者指出的局限与后续方向

论文未专门讨论局限。没有 Limitations、Discussion 或 Future Work 专节；Conclusion 未把某项写成局限或待做实验。

实验覆盖范围

• 被分析模型为 Gemma-2-2B-IT、Qwen3-4B、Phi-4-Mini-Instruct、Mistral-Small-3.2-24B-Instruct-2506，共 4 个；每个模型一个峰值层、一个 DIM 方向（Section 2.3、Table 8）。Section 2.3 写明所建立的是这一条方向如何组装，而不是完整 refusal 子空间。
• 有害提示的训练、验证、测试为 256、463、512；转向结果指向留出测试集（Section 3.3）。无害提示来自 ALPACA，论文未报告条数。
• 行为判定为 LlamaGuard 3。论文未报告该判定与人工的一致性，也未报告主 ASR 的重复次数。旋转对照为 N=5（Table 4）。
• 能力侧评了 MMLU、GSM8k 与 Pile 困惑度（Table 2，Appendix M）。对照包括机制补集（Figure 3）、底幅度坐标（Table 3）、随机旋转（Table 4）、阈值网格（Appendix K）与平局随机打破（Appendix L）。
• Appendix B 讨论了贪心加性搜索、穷举组合搜索、可学习二值掩码和 Shapley 值，并说明它们为何不用于这一有序残差流设定。

这篇工作把拒答转向从残差流单点干预拆到组件和坐标，看 refusal 方向 r* 是被哪些上游模块组装出来的。

• 问题： 现有转向能抑制拒答，但不分辨 attention 与 MLP 中谁把方向写入残差流，也不分辨信号落在哪些坐标。
• 方法： 四个开源指令模型上，用有害与无害提示的差均值取出峰值层方向，对组件输出做正交化。投影预筛加验证集 ASR 剪枝得到一个充分集合；维度侧用 r* 的高幅度坐标做一次性静态掩码。分析依赖充分性，不声称该集合最小，也不覆盖完整 refusal 子空间。
• 组件： Table 1 中，机制占上游组件 28.2%–48.1%，相对残差流单点基线的 ASR 为 88.3%、90.9%、96.5%、100.5%。只转被排除组件时，Gemma2-2B 与 Phi4-Mini 的绝对 ASR 为 1.6% 与 3.3%，Qwen3-4B 与 Mistral-3.2-Small 为 34.6% 与 17.8%。
• 维度与能力： 机制上的稀疏维 ASR 为 85.7%–98.6%，所用维度 51.0%–54.3%（Table 1）。随机旋转后，同样数量的高幅度坐标相对 ASR 为 0.6%–11.2%（Table 4）。Phi4-Mini 上，全上游组件干预的 MMLU、GSM8k 变化为 −22.44、−28.13，稀疏机制为 −1.98、−1.36（Table 2）。
• 作者结论： 拒答方向由可识别的结构化机制组装，稀疏同时出现在“转哪些组件”和“转哪些维度”两层；维度稀疏与残差流坐标系对齐一致。作者认为跨架构的一致性意味着，高显著性行为方向的结构化稀疏可能是 transformer 的一般性质，并可能用于更有针对性的可解释性工具和干预。