GAPS：面向条件激活引导的维度级门控

条件 activation steering 一旦触发，仍把完整 steering 向量加到全部隐藏维，而不区分该神经元是否携带概念信息、当前是否已处于期望状态。

• 场景：语言模型需要避免有毒续写或对特定概念的指涉，但为每条新约束重新训练不现实。Activation steering 把期望与非期望行为的隐藏状态均值差作为向量，在生成时加到隐藏状态上，无需梯度更新，推理开销小。
• 现有方法的不足：CAST 与 DSAS 按当前上下文决定何时干预，意图让良性生成大体不受影响；探针或轻量控制器也可触发、缩放或校准干预。作者认为，无论是否条件化，干预在空间上仍是稠密的：一旦施加，完整向量加到隐藏状态的全部 D 个神经元。许多神经元几乎不含概念信息，推移它们不能抑制非期望行为，只会扰动表示；已编码概念的神经元若已处于期望区间，继续向非期望的反方向推，不会让输出更符合目标，却使表示偏离模型熟悉的激活分布。
• 核心假设：作者提出，token 级方法决定何时干预，还应动态决定干预哪些神经元，使隐藏状态的改变不超过 steering 目标所需。
• 提出的方法：GAPS（Gated Activation steering via Posterior and Separability）用两个免训练的维度门：静态可分性门只保留 AUROC 上概念信息统计上可靠的神经元；动态后验门在高斯模型下，仅当当前激活更由非期望概念解释时才转向。两门可插入已有条件方法，开销为每 token O(D)。

Activation steering。 在推理时把概念方向加到隐藏状态，方向通常从对比样本或探针抽出（Turner et al., 2025; Rimsky et al., 2024; Zou et al., 2023; Li et al., 2023），后续工作优化干预本身（Rodriguez et al., 2025a,b）。论文称这些方法都是无条件且稠密的：每一步、隐藏状态的全部维度都施加干预。

When to steer。 CAST（Lee et al., 2025）按当前隐藏状态与抽出的条件方向的对齐做硬门控；DSAS（Ferrando et al., 2025）用训练好的探针输出缩放干预。同类工作用探针或控制器触发、缩放或校准干预（Li et al., 2025; Wang et al., 2025a; Cheng et al., 2025; Hegazy et al., 2026; Hedström et al., 2025）。论文指出，这些方法的干预仍是稠密的：在选定位置施加完整 steering 向量，没有维度级选择性。

Static dimension selection。 AurA（Suau et al., 2024）按 AUROC 选择并抑制专家；SADI（Wang et al., 2025b）使用 top-K 对比掩码。论文指出，二者的选择都在离线完成，不在每个生成步、每个神经元上在线判断当前是否应当 steering。

基线方法为无条件 steering、CAST、DSAS，以及维度级的 range gate mrng（Haider et al., 2026）。基准/数据集为 RealToxicityPrompts（Gehman et al., 2020）、OneSeC 的七个概念（Scarlini et al., 2019）、Wikipedia 句子困惑度与 MMLU（Hendrycks et al., 2021）。

作者把本文定位为在“何时干预”之外增加第二根选择性轴：在线、按神经元决定当前是否转向；GAPS 免训练，并严格推广已有条件方法。

GAPS 在 token 级门 g(ht) 之外，用静态可分性门 msep 与动态后验门 mpost 的逐维乘积，决定 steering 向量的哪些坐标真正被加上。

问题设定与形式化

• 神经元与方向：神经元是某一 transformer 层隐藏状态 h∈R^D 的一个坐标。对比样本分为 target（要转向的行为）与 source（要离开的行为）。均值差方向为 v=μ^tar−μ^src。无条件更新为 ht←ht+αv，α>0 控制强度。
• token 级条件：CAST 用当前隐藏状态与条件方向对齐的硬二值门；DSAS 用探针输出作为连续门，按检测到的非期望行为强度缩放。更新为 ht←ht+α g(ht) v。
• 完整更新：ht←ht+α g(ht)(msep⊙mpost(ht)⊙v)。两维门都设为 1 时退回 CAST 或 DSAS；再令 g≡1 则退回无条件 steering。作者称式 (7) 严格推广先前方法。

静态可分性门

• 准则：对每个神经元用 AUROC 衡量其激活对 source 与 target 的可分性，AUROCd=Pr(h^src_d>h^tar_d)。零假设下均值为 1/2，标准差 σ0 由对比样本量给出。保留偏离随机水平超过 τz 个零假设标准差的神经元。
• 参数：τz=7，高于对全部 D 个神经元做 Bonferroni 校正、α0=10^−3 时约 z≈5.1 的要求。Nsrc=Ntar=700（与 OneSeC 设置一致）时，大约只保留 AUROC 落在 [0.39, 0.61] 之外的神经元。检验是双侧的，因为概念可由更大或更小的激活编码，方向由 v 承担。门只算一次，固定可编码该行为的神经元集合。

动态后验门

• 决策：只在当前激活 ht,d 在 source 下比在 target 下更可能时转向。假设两概念先验相等，后验为 source 似然除以两概念似然之和。密度用高斯 N(ht,d; μ^c_d, (σ^c_d)^2)，均值与方差从该概念的对比激活估计。门为后验大于 1/2。
• 设计理由：作者称非参数密度估计在每神经元对比样本有限时不可靠，还会增加每 token 成本；采用高斯是依据既有观察，即与概念相关的神经元激活近似服从高斯。若激活更像 target，再沿 vd 推不太可能进一步抑制 source，还可能引入不必要扰动。

实现与互补性

• 统计与开销：构造 v 所需的对比激活一次遍历即可估计全部门的统计量。在线评估两门为每 token O(D) 逐元素运算，与加上 αv 同阶。干预加在运行上下文的最后一个 token 位置。实验中两模型都在第 15 层干预，附录 E 报告第 18 层。
• 互补：msep 是哪些神经元能够编码该行为的全局陈述；mpost 是这些神经元当前是否值得干预的局部陈述。作者称二者互补而非冗余。
• 对照门：range gate mrng 仅在 ht,d 落在 source 均值的 2.5 个标准差以内时转向，只看非期望概念的分布。

实验设置

• 模型与层：Gemma-3 4B 与 Qwen-3 1.7B；主实验在第 15 层干预，附录 E 另报第 18 层。实现用 TransformerLens 缓存残差流并施加干预。
• 任务：毒性抑制用 RealToxicityPrompts，每个提示采样 k=10 条续写，RoBERTa 毒性分类器判毒；毒性率为提示上平均的有毒续写比例。概念移除用 OneSeC 的七个概念（football、cloud、baby、church、book、flower、balloon），每概念 700 条 source、700 条来自其余概念的 target；GPT-4o-mini 判断续写是否含 source 概念，分数除以无干预值后对七概念平均。
• 能力指标：Wikipedia 句子困惑度；MMLU 报正确选项的平均概率，而不是离散准确率。对 α 扫描以画出行为–能力权衡。
• 基线：无条件 steering、CAST、DSAS，以及 msep、mpost、mrng 及其组合。DSAS 的探针为 logistic regression，并使用 PCA。
• Table 1 的操作点：在困惑度不超过无干预的 +5%、MMLU 正确选项概率不低于 −3% 的预算内，取行为分数最低的 α。概念移除对每个概念单独选强度再归一化平均。
• 可靠性：每个毒性数字是 500 个提示、每提示 10 条续写（每操作点 5000 次生成）的聚合。概念移除图的阴影带为跨概念均值的 ±1 标准误。τz 只在 Gemma-3、毒性、DSAS+GAPS、层 15 上扫描后固定为 7。

主结果

Table 1 在固定能力预算下的行为分数（越低越好）：

Swipe horizontally to read the table

方法	Gemma 毒性	Qwen 毒性	Gemma 概念	Qwen 概念
无干预	6.52%	6.42%	100%	100%
CAST	3.70%	3.56%	64.66%	66.78%
CAST+GAPS	2.14%	2.12%	49.45%	61.35%
DSAS	3.52%	4.06%	67.96%	66.38%
DSAS+GAPS	0.48%	2.32%	53.05%	59.24%

据 Table 1。同一行还报告了对应的 MMLU 与 Wikipedia PPL，此处只列行为分数。

• Pareto：作者称 Figure 2（毒性 vs. Wikipedia PPL）与 Figure 3（概念分数 vs. PPL）中，CAST+GAPS 与 DSAS+GAPS 在两个模型上都把前沿推向左下，或与 token 级对应方法持平；无条件 steering 为虚线，菱形为无干预模型。
• 能力轴不完全同步：作者称 GAPS 的收益在 Gemma-3 的毒性–MMLU（Figure 4）上更明显；Qwen-3 上各方法在大部分毒性范围内 MMLU 相当。概念移除的 MMLU（Figure 5）上，Gemma-3 的维度门与 token 级方法接近，Qwen-3 上维度门在多数强度下保留更高 MMLU。作者称维度级门控在两个模型上至少沿一条能力轴改善权衡。
• 相对降幅：作者称 DSAS+GAPS 在 Gemma-3 上相对无干预毒性降低 92.6%，仅 DSAS 为 46.0%。

维度门消融

• 测了什么：Table 1 在 2 模型 × CAST/DSAS × 2 任务共 8 个设置中，比较 msep、mrng、mpost 及组合，能力预算与主结果相同。
• 结果：8 个设置里最优变体都含后验门；其中 7 个设置的前两名都是后验门变体（16 个前二席位中的 15 个）。例外是 Gemma-3、CAST、毒性：仅 msep 为 2.78%，仅 mpost 为 3.06%，但 GAPS 仍最好（2.14%）。mpost 在 8 个设置中有 7 个优于 msep，作者称相对降分最高约 41%（Qwen-3、DSAS、毒性从 3.18% 到 1.86%）。mpost 在全部 8 个设置上低于 mrng，GAPS 也在每一设置上优于 msep⊙mrng。msep 加在 token 级基线上时 8 个里有 6 个降分；与 mrng 组合时 8 个里有 5 个优于单独 mrng；与 mpost 组合时 8 个里有 6 个优于单独 mpost。Gemma-3、DSAS、毒性上，仅 mpost 为 1.26%，到 0.48% 需要再加上 msep。
• 作者的解读：知道哪些神经元能编码概念，不等于知道当前该在哪里行动；range gate 只看非期望分布，会在两分布重叠、当前激活同样或更好地由期望概念解释时仍然转向。msep 离线计算、无每 token 成本，作者称增益几乎不增加开销。

阈值与层

• τz：Table 3 在 Gemma-3、毒性、DSAS+GAPS、层 15 上，τz∈{5,6,7,8,9}。固定预算毒性分别为 0.70%、0.56%、0.48%、0.40%、0.62%；15 个预算上的平均毒性为 0.90±0.43、0.77±0.30、0.57±0.14、0.52±0.16、0.69±0.27。作者称最低带在 τz∈[7,8]，两侧变差；τz=7 与 8 大体相当，选 7 以保留更多维，并在其余实验中不变。
• 层 18：附录 E 报告第 18 层结果。论文正文以第 15 层为主结果；层 18 的具体曲线数值在所给文本的图注之外未逐点列出。

其他消融与分析

• Table 1 中 CAST+mpost：Gemma 毒性 3.06%、概念 46.36%；Qwen 毒性 2.16%、概念 61.83%。
• Table 1 中 DSAS+mpost：Gemma 毒性 1.26%、概念 56.20%；Qwen 毒性 1.86%、概念 60.36%。
• Table 1 中 CAST+mrng：Gemma 毒性 4.52%（高于 CAST 的 3.70%）、Qwen 毒性 2.52%；概念分数 Gemma 61.82%、Qwen 70.55%（高于 CAST 的 66.78%）。
• Table 1 中 DSAS+msep：Gemma 毒性 2.06% 但 PPL 16.34；概念分数 Gemma 71.28%（高于 DSAS 的 67.96%）。
• 无干预能力：Gemma MMLU 0.586、PPL 16.06；Qwen MMLU 0.539、PPL 13.43。
• 预算内最强毒性点 DSAS+GAPS 的 Gemma PPL 为 16.54、MMLU 0.569，仍落在 +5% 与 −3% 预算内。

作者指出的局限与后续方向

• 先验相等：动态后验门假设 source 与 target 先验相等（式 4）。部署中若预期大多是良性上下文，可以把 p(csrc) 设得更小使门更保守，对抗性场景则可以相反。作者把先验选择的系统研究留给后续工作（Limitations）。

实验覆盖范围

• 被测模型为 Gemma-3 4B 与 Qwen-3 1.7B；主干预层为 15，附录 E 另报层 18（第 4 节、附录 E）。
• 任务为 RealToxicityPrompts 毒性抑制，以及 OneSeC 的七个概念移除；对比样本在可分性门的对应设置里为每侧 700 条（第 4 节）。
• token 级基线为 CAST 与 DSAS，维度级对照含 msep、mpost 与 range gate mrng 及其组合，共 8 个模型×方法×任务设置（Table 1）。
• 能力侧为 Wikipedia 困惑度与 MMLU 正确选项概率；Table 1 用 PPL ≤+5%、MMLU ≥−3% 的固定预算选点，τz 扫描另用 15 组预算（Table 1、Table 3）。
• 毒性每个操作点为 500 提示 × k=10 续写；概念移除由 GPT-4o-mini 判断是否出现 source 概念。论文未报告该判断与人工标注的一致性。τz 只在一个设置上扫描后复用（附录，Table 3）。

GAPS 为 activation steering 增加维度级条件：在决定何时干预之外，再决定当前该动哪些神经元。

• 问题：CAST、DSAS 等 token 级方法在门打开后仍把稠密向量加到全部维度。作者认为，不含概念信息的神经元，以及当前激活已更像期望概念的神经元，被推移只会带来不必要的表示偏移。
• 方法：静态可分性门按 AUROC 相对零假设的 z 分数（τz=7）保留概念可分的神经元；动态后验门在等先验、高斯密度下，仅当后验显示当前激活更像 source 时转向。两门与 g(ht) 逐维相乘，可退回 CAST、DSAS 或无条件 steering，统计量来自同一批对比激活，在线开销 O(D)。
• 毒性：固定能力预算下，Gemma-3 上 DSAS+GAPS 的毒性率为 0.48%，DSAS 为 3.52%，无干预为 6.52%（Table 1）。Qwen-3 上 CAST+GAPS 为 2.12%，DSAS+GAPS 为 2.32%，无干预为 6.42%。
• 概念移除：同一预算下，七个 OneSeC 概念的归一化分数在 Gemma-3 上由 DSAS 的 67.96% 到 DSAS+GAPS 的 53.05%，由 CAST 的 64.66% 到 CAST+GAPS 的 49.45%；Qwen-3 上 DSAS+GAPS 为 59.24%，CAST+GAPS 为 61.35%（Table 1）。
• 消融与结论：8 个设置的最优变体都含后验门；单独后验门在 Gemma-3、DSAS、毒性上停在 1.26%，与可分性门合用才到 0.48%。作者认为，知道哪些神经元能编码概念还不够，还要知道该编码当前是否激活；先验选择留作后续工作。