拒绝语域可被因果操控:将 Gemma-2-9B-IT 的拒绝方向分解为类别对齐成分
Refusal Register is Causally Steerable: Decomposing the Refusal Direction into Category-Aligned Components in Gemma-2-9B-IT
作者在 Gemma-2-9B-IT 第 20 层找到两条类别对齐的拒答方向,注入有害类方向可在保持拒答的同时把自我参照类拒答改写成内容风格。
- 已有工作证明拒答可由单方向或多方向介导,作者问的是另一个问题:拒答相关方向是否还编码拒答的语体(register,即怎么拒),而不仅是拒与不拒。
- 在 Gemma-2-9B-IT 第 20 层用线性 SVM 得到 B1(有害 vs 中性)、B2(自我参照 vs 中性)两条方向,结合 Gemma Scope SAE 特征消融、特征钳制引导和 DoM 方向注入,测量对拒答率、顺从度和拒答词频的因果效应。
- B1、B2 余弦 0.252;消融各自选择性降低本类拒答;把 B1 对应的 DoM 方向注入 SELFREF 提示词,内容风格词频从 2.55 升至 10.37/100 token(α=2.0),模型仍拒答但改用内容风格,B2 反向效应小约一个量级;2B 模型定性复现。
- 作者指出的局限:单一模型家族、拟合与评估提示词少(10 FIT、10–20 EVAL)、只测两个拒答类别、register 用正则词表测量、逐层分析只覆盖 42 层中的 3 层;后续方向包括跨家族复现和更密层扫描。
- 被测模型
- Gemma-2-9B-ITGemma-2-2B-IT
- 基准
- 自建提示词集:HARMFUL、SELFREF、NORMAL 三类(每类 10 条 FIT、10–20 条 EVAL)
- 指标
- refusal-ratecompliance level (0–5)vocabulary rate (hits per 100 tokens)
研究者发现,Gemma-2-9B-IT 中的拒绝相关方向不仅编码模型是否拒绝,还携带拒绝措辞风格的信息,且该风格可被因果操控。他们在第 20 层用 SVM 得到两个线性方向:B1 区分有害与中性内容,B2 区分自我指涉与中性内容。将有害对中性的均值差方向以 alpha=2.0 注入自我指涉提示的残差流后,内容安全词汇命中从每 100 token 2.55 次升至 10.37 次,幅度匹配的随机方向对照为 1.13-2.16;模型仍会拒绝,但措辞从“作为语言模型”式转为“这会有害”式。该效应在 Gemma-2-2B-IT 第 12 层定性复现(1.72 升至 6.37,随机对照 1.35),有效注入窗口比 9B 更窄。B1 的因果效应在消融、充分性与注入实验中一致大于 B2,作者认为 B1 同时编码类别检测与拒绝词汇信息,B2 主要编码类别检测。
深度解读
这篇论文试图解决什么问题?
作者问:拒答方向是否编码拒答的语体(怎么拒),而不仅是拒与不拒。
核心问题:拒答相关的线性方向是否携带拒答语体(register,即模型以什么措辞和框架拒绝)的信息,而不仅仅决定拒答是否发生。
- 背景:Arditi et al. (2024) 发现单一残差流方向介导拒答,Wollschläger et al. (2025) 发现多个拒答方向和概念锥;作者认为这些工作回答的是"拒答是否发生"。
- 现有工作的空缺:作者称 Joad et al. (2026) 提取了 11 个类别的拒答方向并发现方向间差异主要体现在拒答风格上,但未研究自我参照(system-prompt 泄露)类提示词,也未做剂量-响应式的语体迁移测量。
- 核心观察:模型对有害内容请求和自我参照探测以明显不同的风格拒答;作者假设这两类拒答由不同的方向介导,且方向里带有语体信息。
- 论文的做法:在 Gemma-2-9B-IT 第 20 层提取两条 SVM 方向 B1(HARMFUL vs NORMAL)和 B2(SELFREF vs NORMAL),通过 SAE 特征消融、特征钳制引导和 DoM 方向注入三类干预,检验两条方向的因果作用是否可分离、是否不对称。
- 定位:作者明确称贡献不在于"存在多个类别方向"或"方向风格不同"(这些已有工作确立),而在于对自我参照类的语体迁移做随机对照的剂量-响应测量、两类别的 SAE 消融与充分性结果、以及两方向间一致的不对称性。
有哪些相关研究?
沿拒答方向研究线展开:单方向→多方向→类别化,本文补自我参照类的语体迁移测量。
拒答方向
- Arditi et al. (2024)——发现指令微调模型中单一残差流方向介导有害内容拒答,消融该方向可绕过安全训练,沿它引导可诱发拒答。
- Wollschläger et al. (2025)——提出拒答由多个独立方向和多维概念锥介导,并提出比正交更严格的"表示独立"判据;Zhao et al. (2025)——发现有害性与拒答编码在不同 token 位置。
- Prakash et al. (2026)——在 Gemma-2-2B-IT 和 LLaMA-3.1-8B-IT 的 SAE 隐空间搜索消融后可翻转拒答的特征集。
类别化拒答方向(最接近本文)
- Joad et al. (2026)——在 Gemma-2-9B-IT 和 Llama-3.1-8B-Instruct 上提取 11 个拒答类别的方向,发现各方向引导的拒答效力相近、差异主要在拒答风格(用 LLM 裁判标注)。作者称本文补足了他们未研究的自我参照类,并做了他们未做的剂量-响应、随机对照的语体迁移测量。
- Alagharu et al. (2026)——通过拒答 token 微调获得类别对齐方向,用于多类别拒答控制。
因果分析与引导方法
- Vig et al. (2020)——在 NLP 可解释性中引入因果中介分析;激活引导方法沿用 Turner et al. (2024) 和 Rimsky et al. (2024)(对比激活添加),作者称自己的方向注入与之类似但不同。
- 工具:Gemma Scope SAE(Lieberum et al., 2024)、TransformerLens(Nanda & Bloom, 2022);SAE 方法基于 Bricken et al. (2023) 和 Cunningham et al. (2024)。
定位:作者称本文的区别在于新增自我参照类别、以带随机对照的剂量-响应曲线测量语体迁移、并刻画两方向间的不对称性。论文无对比基线方法,对照为幅度匹配的随机方向/随机特征。
论文如何解决这个问题?
SVM 找两条类别方向,再用 SAE 消融、特征钳制和 DoM 方向注入三类干预测因果作用。
整体思路:在 Gemma-2-9B-IT 第 20 层残差流上,用线性 SVM 得到两条类别边界方向 B1(HARMFUL vs NORMAL) 和 B2(SELFREF vs NORMAL),再用三类干预(消融、引导、注入)检验它们的因果角色。
设定与方向提取
- 模型与 SAE:Gemma-2-9B-IT,配 Gemma Scope 第 20 层 SAE(宽度 16k,L0 ≈ 91)。
- 提示词:三类,每类 10 条拟合(FIT)+ 10–20 条评估(EVAL):HARMFUL(违禁品合成等)、SELFREF(询问系统提示词)、NORMAL(常识问题)。
- 方向提取:取聊天模板助手回合前缀最后一个 token 的第 20 层激活,拟合线性 SVM,法向量作为候选方向。作者明确称 SVM 只是方向发现启发式(n=10、3584 维,任何线性分类器都能完美分开),不作泛化主张。
- SAE 特征排序:按激活差 si = āi(cat+) − āi(cat−) 排序特征,即特征在正负类上的平均激活之差。
三类干预
- 消融(必要性):在第 20 层 hook,经 SAE 编码后将 top-K 目标特征置零再解码。
- 引导(充分性):把 top-K 特征钳制到目标类别的平均激活。
- 方向注入:向第 20 层最后 token 残差加 α·s·v̂DoM,其中 v̂DoM 是对应类别的单位化 difference-of-means 方向(作者强调注入的是 DoM 方向而非 SVM 法向量,"B1/B2 注入"是简写),s 为自然投影幅度;α ∈ {0.5, 1.0, 1.5, 2.0},随机方向对照做幅度匹配。
逐层与语体测量
- 逐层消融:在 L ∈ {9, 20, 31} 重复 SAE 消融(K=250),比较两方向的在靶/脱靶效应。
- 语体测量:两套正则词表(无 LLM 裁判):内容语体 22 个模式、元语体 17 个模式,指标为每 100 token 命中数。
- 三重拒答指标:n-gram 分类器的拒答率(0–1)、gpt-4o-mini 裁判的顺从度(0–5,并在子集上分类 REFUSAL/DEFLECTION/NEITHER)、正则词频;bootstrap 95% CI 用 10,000 次重采样。
论文做了哪些实验?
消融、引导、注入三类实验均显示两方向可分离且不对称,B1 注入可改写拒答语体。
实验设置
- 被测模型:Gemma-2-9B-IT(主实验);Gemma-2-2B-IT(附录 J 复现,26 层,d=2304)。
- 数据:自建 HARMFUL / SELFREF / NORMAL 三类提示词,每类 10 条 FIT、10–20 条 EVAL;充分性实验用 n=50 条 NORMAL;注入扫描用 n=10 条接收方提示词。
- 裁判:gpt-4o-mini 结构化输出,给顺从度(0–5)并在子集上分类拒答类型;语体用正则词表,无 LLM 裁判。
- 对照:幅度匹配的随机方向(3 seeds)和随机特征消融。
- 统计:bootstrap 95% CI(10,000 次重采样);论文未报告重复次数(除随机对照 3 seeds)。
主结果
实验(9B,layer 20,K=250) 结果 出处 cos(B1, B2) 0.252(约 75°) Section 3 B1 消融 → HARMFUL 拒答率 100% → 55%(SELFREF 保持 100%) Figure 1 B2 消融 → SELFREF 拒答率 100% → 35%(HARMFUL 保持 95%) Figure 1 B1 消融 → HARMFUL 顺从度 Δ +0.85,CI [+0.30, +1.50](不含 0) Table 1 B2 消融 → SELFREF 顺从度 Δ +0.20,CI [−0.15, +0.55] Table 1 B1 注入 SELFREF,内容词频(α=2.0) 2.55 → 10.37/100 token;随机对照 1.13–2.16 Figure 5 B2 注入 HARMFUL,元词频(α=2.0) 0.21 → 2.75/100 token;随机对照 0.22 Section 7 - 作者称两方向"实质上不平行"但非严格正交,只主张"不同而非共线"。
- 作者称 B1 的因果效应在消融、充分性、注入三类干预中一致大于 B2,并把这种不对称本身作为发现:B1 似乎同时编码类别检测和拒答词汇信息,B2 主要编码类别检测。
- 注入后模型仍拒答(拒答率 ≥ 0.80)、输出不退化(degeneration = 0)、长度保持(44–53 token),变化的只是词汇。
充分性:引导良性提示词产生拒答
- 测了什么:在 NORMAL 提示词上把 top-250 特征钳制到目标类均值(n=50)。
- 结果:B1 引导诱发拒答 8/50(16%),B2 引导 7/50(14%),随机特征对照 0/150(Figure 2);B1 诱发内容风格措辞,B2 诱发元风格 deflection(Figure 3)。
- 作者解读:幅度不大,但 n=50 的样本和干净的随机对照说明小效应是方向特异的。
逐层分析:区分两种机制
- 测了什么:在 L ∈ {9, 20, 31} 重复消融(K=250),检验"两条独立电路"(A)与"两个上游分类器喂同一拒答器"(B)。
- 结果:L9 时 B1 在靶效应近零(Δ=+0.05)、B2 在靶 Δ=+0.35;L20 反转(B1 +0.85、B2 +0.20);L31 时 B1 在靶保持(+0.75)且脱靶泄漏到 SELFREF(+0.65,CI [+0.05, +1.35])(Figure 4)。
- 作者解读:结果支持(A);B2 效应从第 9 层可测且大致平稳,B1 在第 20 层出现并持续到 31 层,晚期泄漏与"第 31 层编码拒答语言产生而非内容类别"一致。
拒答类型偏移与逐 prompt 分布
- 拒答类型:L20、K=250 时 B2 消融使 SELFREF 的 REF/DEF/NEI 从 65/35/0 变为 40/50/10(Table 2,n=20 HARMFUL + n=20 SELFREF);作者称消融多把正式拒答转为 deflection 而非完全顺从。
- 逐 prompt 分布:α=2.0 时 10 条 SELFREF 全部内容词频 ≥ 3.8,中位数 11.3、IQR [9.7, 11.5](Table 3);作者称均值非离群驱动,且基线均值 2.55 本身由单个 13.6 离群值撑起。
其他消融与分析
- 几何对照:直接拟合 HARMFUL-vs-SELFREF 分类器 B12,5 折 CV 准确率 1.00,NORMAL 投影 +2.9±17.2 位于两类之间,排除共享锚点伪影(Section 3)。
- 与 Arditi 方向关系:cos(B1, rArditi)=0.68、cos(B2, rArditi)=0.24;B1 的 46% 方差沿 rArditi(Section 3)。
- 注入深度:L25/28/31 注入在更低 α 即退化(L31、α=1.5 时 100% 退化),仅 L20 在全部 α 保持连贯(Section 7)。
- 2B 复现:L12、α=1.0 时内容词频 1.72→6.37(随机对照 1.35),但峰值低于 9B(6.37 vs 10.37)且连贯窗口更窄(仅 L12、α∈[0.5,1.0]);B2→HARMFUL 在 2B 也无可比效应(Table 5)。
- SVM vs DoM 排序:K=10 时特征重叠 50%,K=500 时降至 16%(Figure 6)。
有什么可以进一步探索的点?
作者列出单一家族、小样本、两类别等局限,并提出跨家族复现等四个后续方向。
作者指出的局限与后续方向
- 单一模型家族:只研究 Gemma-2(2B 复现见 Section J)(Section 8, Limitations)。
- 提示词集小:边界拟合 n=10 FIT、消融评估 10–20 EVAL;注入扫描用 n=10 接收方提示词(Section 8, Limitations)。
- 只测两个拒答类别(Section 8, Limitations)。
- 语体测量基于正则:内容词表含拒答短语,部分语体效应实为转向公式化内容风格拒答措辞;作者称用 LLM 裁判或人工标注语体可使测量独立于词表(Section 8, Limitations)。
- 逐层分析只采样 42 层中的 3 层(L9、L20、L31)(Section 8, Limitations)。
- 后续方向:跨家族(Llama、Mistral、Qwen)复现;更密的层扫描(如 L9–L20 每 3 层);经 SAE 特征聚类做无监督拒答类型发现;用受控微调检验不对称是否源于训练数据构成;注入 SVM 法向量及 B1 正交于 rArditi 的分量留待未来(Section 8)。
实验覆盖范围
- 被测模型为 Gemma-2-9B-IT 和 Gemma-2-2B-IT,共 2 个,均属 Gemma-2 家族(Section 2、附录 J)。
- 拒答类别覆盖 HARMFUL 与 SELFREF 两类,NORMAL 为对照(Section 2)。
- 干预层覆盖 9B 的 L9/L20/L31(消融)与 L20/L25/L28/L31(注入),2B 的 L12/L16/L18/L20(Section 6、7、附录 J)。
- 样本量:消融每单元 10–20 条 EVAL,充分性 n=50,注入 n=10 接收方提示词,随机对照 3 seeds;论文未报告主实验的重复次数。
- 语体效应的 LLM 裁判或人工标注未做(作者称裁判只评顺从度和拒答类型);评审与人工的一致性论文未报告。
总结一下论文的主要内容
Gemma-2-9B-IT 中两条类别对齐拒答方向可分离且不对称,B1 注入能在保持拒答的同时改写拒答语体。
一篇机制可解释性论文,研究指令微调模型的拒答方向是否编码拒答语体(怎么拒),而不仅是拒答是否发生。
- 问题:已有工作确立单方向(Arditi et al., 2024)和多方向/类别方向(Wollschläger et al., 2025; Joad et al., 2026)介导拒答;作者补测此前未研究的自我参照类,做带随机对照的剂量-响应语体迁移测量。
- 方法:在 Gemma-2-9B-IT 第 20 层用 SVM 提取 B1(有害 vs 中性)、B2(自我参照 vs 中性),经 SAE 特征消融、特征钳制引导、DoM 方向注入三类干预测因果效应,指标为拒答率、gpt-4o-mini 顺从度和正则词频。
- 几何:cos(B1, B2)=0.252(约 75°),与 Arditi 方向余弦分别为 0.68/0.24;作者称 Arditi 单方向更适合理解为多个类别对齐分量的混合。
- 必要性:K=250 消融使本类拒答率选择性下降(B1→HARMFUL 55%,B2→SELFREF 35%),且两方向层剖面不同(Figure 1、4)。
- 语体注入(主结果):B1 方向注入 SELFREF 提示词,内容词频从 2.55 单调升至 10.37/100 token(α=2.0),随机对照 1.13–2.16;模型仍拒答但改用内容风格措辞;B2 反向效应小约一个量级,作者称不对称是方向驱动而非幅度驱动。
- 复现与结论:2B 在 L12 定性复现(1.72→6.37,窗口更窄)。作者称拒答不是单一的、语体可因果控制,并建议越狱鲁棒性基准按拒答类别报告指标;局限包括单一模型家族、小样本、两类别和正则化语体测量。