研究揭示语言模型拒答行为的转向维度差异

两类拒绝各需要多少个方向，才能既诱导又抑制该行为。

• 出现场景：语言模型把高层概念编码进内部表示，激活操控据此改变生成。作者认为，若一个方向真正介导该行为，加上它应诱导行为，消掉它应抑制行为。
• 现有缺口：许多方法假设单一方向就够。作者认为只做加性操控不能确立单方向控制；行为还可能位于更高维、更复杂的几何中，相近语义也可能对应不同方向。
• 两类拒绝：安全对齐触发的拒绝，与非安全设置中的一般拒绝，未必共用同一几何。图1图注写有定性例子，正文未转录例子原文。
• 要回答的量：多少个steering维数足以控制拒绝，以及该维数是否随设置变化。作者用子空间而不是单向量来定义这个最小维数。

作者把缺口放在“单方向足以控制”和“拒绝几何更丰富”这两类已有说法之间。

表示工程与激活操控

• 表示工程：引言把Wehner et al. (2025)、Zou et al. (2023) 与Zou et al. (2024) 作为利用内部表示做干预的背景，未展开各自做法。
• 激活操控：Huben et al. (2024) 讨论激活空间中的可解释结构。Rimsky et al. (2024) 与Turner et al. (2023) 沿概念方向干预隐藏激活。
• 已展示的用途：论文合并列举persona控制（Chen et al., 2025）、推理校准（Chen et al., 2025）、条件激活操控（Lee et al., 2025）、指令遵循（Stolfo et al., 2025）、越狱易感性（Wang et al., 2025）与幻觉缓解（Wang et al., 2025）。作者认为许多工作主要评加性操控，其成功本身不能确立单方向控制。

单方向假设与拒绝几何

• 线性表示：Park et al. (2024) 讨论线性表示假设。论文称多数工作假设目标行为可由激活空间中的单一方向线性控制。
• 更高维几何：引言引用Tan et al. (2024)，称行为通常可表示在更高维子空间、几何更复杂；作者认为单方向可能不够。
• 拒绝上的不同报告：Arditi et al. (2024) 报告单一向量可通过加性与方向消融介导拒绝。Wollschläger et al. (2025) 报告多个独立方向和多维concept cones。论文把Pan et al. (2025) 与Zhao et al. (2025) 并列为类似观察，未转述二者的具体结果。作者认为对齐触发的拒绝还可能不同于一般拒绝，故维数仍不清楚。

对照做法与数据

• 单向量特例：对激活差取平均得到一个方向。作者将其对应为K-Means的k=1，并引用Arditi et al. (2024)、Wang et al. (2025) 与Zhao et al. (2026)。
• 数据来源：安全对比沿用Arditi et al. 的有害/无害查询。论文未把上述方法当作数值基线重跑。

作者将这项工作放在子空间设定下，分别度量两类拒绝的steering dimensionality。

作者把单向量操控推广为steering子空间，并用加性与方向消融是否一起满足单调性和饱和，定义行为的steering dimensionality。

问题设定与充分维数

• 子空间：层l上，序列末token的激活差堆成对比矩阵H。从中抽出k个方向，组成V_k。
• t维可操控：t是足以覆盖目标行为表示的维数。k小于t时，加维应加强控制；k达到t后，再加维应几乎不再改进。
• 两条性质：单调性要求S_add与S_abl在k小于t时不随k下降。饱和要求k不小于t时，二者接近t维时的分数。作者还要求回答质量随维数保持稳定，否则分数变化不能主要看成行为控制的差别。

两类对比如何构造

• 安全对齐触发的拒绝：有害提示为正例、无害提示为负例，做法跟随Arditi et al.。作者称安全对齐使两类提示倾向于引出不同激活。
• 一般语境拒绝：同一无害查询配拒绝回答与肯定回答，再与查询拼接后取激活。作者称这不依赖自然分开的提示分布，因而更一般，并引用Miehling et al. (2026)。
• 三种抽取：PCA取中心化后的前k个主成分；SVD直接取右奇异向量，不要求中心化；K-Means取簇中心。既有的激活差平均对应K-Means的k=1。PCA与SVD的更高维包含前k个成分；不同k的K-Means不必嵌套，作者只做经验检查。

两类干预

加性操控把激活平移进子空间，检验方向是否足以诱导行为：h^(l)′ ← h^(l) + V_k^(l)⊤ α_k。α_k的每一项控制对应方向的强度。

方向消融去掉子空间内的分量，检验这些方向是否必要：h^(l)′ ← (I − P_k^(l)) h^(l)。P_k是用Moore–Penrose伪逆写出的正交投影。k=1即既有的单方向设定。

成功如何判定

• 两个二元函数：M表示回答是否出现目标行为，Q表示回答是否连贯。
• 加性成功：行为出现且连贯。所用回答集合平时不引出该行为。
• 消融成功：行为不再出现且连贯。所用回答集合用来引出该行为。
• 分数：steerability是相应集合上的成功比例。作者还希望子空间尽量少缠上其他行为或一般能力。

实验设置

• 被测模型：Qwen2.5-3B-Instruct与Llama-3.1-8B-Instruct。数据生成用Gemma-4-31B-Instruct，评审用Qwen3.8-27B。
• 对比数据：安全设置按Arditi et al. 的做法构造200对有害/无害查询，论文未说明划分。一般语境先生成200条基础查询，每条生成五条拒绝与五条肯定回答，再保留200对。附录A.2给出提示词。
• 评测集：加性为50条无害查询。方向消融四类各50条：有害查询；有害查询加拒绝有害请求的指令；有害查询加拒绝一切请求的指令；无害查询加拒绝一切请求的指令。有害查询从Arditi et al. 测试集随机抽样；无害查询与加性评测相同。论文未说明200对与这些抽样是否重叠。
• 指标：steerability看行为是否按意图改变且回答连贯；图中另报incoherence ratio，图注称为回答质量变差的比例，正文未给计算公式。
• 解码与汇总：温度0.6，top-p 0.95，验证集和测试集上每个输入采样3次。论文未说明3次如何汇总，也未报告评审与人工的一致性。
• 干预范围：k取1、2、3、5，构造为K-Means、PCA、SVD。加性在验证集上扫描层与系数，取表现最好的配置用于测试集，入选值未报告。方向消融默认施加于深度三分之一到三分之二的层。

主结果

正文与图注给出结论，但未列出Fig. 2–5的柱高，下表因此不填百分比。

Swipe horizontally to read the table

模型与行为	作者报告的结果	构造	出处
Llama-3.1-8B-Instruct，安全对齐拒绝	1维满足两条性质；加性接近饱和；单方向足以抑制有害查询上的拒绝（有、无安全拒绝指令）	文本点名K-Means与SVD	Fig. 2
Qwen2.5-3B-Instruct，安全对齐拒绝	1维可操控；三种构造均可；多个不同方向可比	K-Means、PCA、SVD	Fig. 3
Llama-3.1-8B-Instruct，一般语境拒绝	5维仍不能捕获全部语义；K-Means的steerability在3维后大体饱和，四类设置的方向消融仍无效	图中含三种，文本强调K-Means	Fig. 4
Qwen2.5-3B-Instruct，一般语境拒绝	5维仍不足；消融能改变拒绝，同时损伤连贯性	图中含三种	Fig. 5

• 作者称安全对齐触发的拒绝与Arditi et al. 的单方向图景一致，并认为不同抽取得到的方向可以达到可比控制，与Wollschläger et al. 报告的多个独立方向相符。
• 作者称一般语境拒绝的激活几何更丰富：分数停止上升，并不等于方向消融已经去掉拒绝。
• 作者认为拒绝没有统一的激活几何，而是随表达语境占据不同结构。

安全子空间能否抑制一般拒绝

• 测了什么：用安全对齐对比抽出的子空间做方向消融，看能否抑制一般语境拒绝。
• 结果：Fig. 2与Fig. 3的图注称，这类子空间不覆盖一般拒绝的语义；正文称消融对一般拒绝抑制很少，且弱于抑制安全拒绝。百分比未给出。
• 作者的解读：两类拒绝在激活空间中结构不同。

连贯性下降与失败方式

• Qwen：Fig. 3与Fig. 5把部分较高k标灰。图注称原因是消融开始损伤连贯性，从而使steerability下降。作者认为这可能说明抽出的子空间与支撑更一般能力的表示纠缠。
• Llama的一般拒绝：作者称各评测设置上的方向消融仍然无效，并称该结果有些反直觉：模型能在多种查询上给出相似拒绝，结果却未表现为线性可操控。
• 作者的期望：操控应选择性影响目标行为，并尽量不影响无关能力；质量不稳时，分数变化不能单独当成行为控制变强或变弱。

其他消融与分析

• PCA对H中心化后取主成分；SVD不要求中心化；K-Means取簇中心，k=1对应激活差平均。
• 作者称PCA/SVD的更高维包含前k个成分，故单调性预期自然；K-Means不同k不必嵌套，只做经验检查，正文未单列该检查的数值。
• Llama的安全拒绝：文本点名K-Means与SVD有效，未单独陈述PCA是否达到同样控制。
• Qwen上被标灰的是消融损伤连贯性，图注未把同一下降归于加性操控。
• 加性层与系数的入选值、验证集分数，以及Fig. 2–5的具体百分比，正文均未报告。

作者指出的局限与后续方向

• 模型范围：只评估了Qwen2.5-3B-Instruct与Llama-3.1-8B-Instruct两个指令微调模型。作者称需要在更多模型家族和规模上评估，以看发现是否普遍（Appendix A.1）。
• 行为范围：分析集中于拒绝。作者称后续应检查其他行为是否有类似的steering-dimensionality模式，并举例不同语言风格、人格特质、指令遵循等（Appendix A.1）。
• 机制：作者写实验看到两类拒绝的激活几何有很大不同，但产生差异的机制仍不清楚，并称值得进一步研究（Appendix A.1）。

实验覆盖范围

• 被测模型为Qwen2.5-3B-Instruct与Llama-3.1-8B-Instruct，共2个（第4节）。
• 子空间取k为1、2、3、5，构造为K-Means、PCA、SVD；干预为加性与方向消融。方向消融有四类诱导设置，每类50条；加性评测为50条无害查询（第4节）。
• 安全对比为200对；一般语境先有200条基础查询，每条生成五条拒绝与五条肯定回答，再保留200对。论文未说明200对的划分，也未说明与从Arditi et al. 测试集抽取的评测查询是否重叠（第4节）。
• 解码为温度0.6、top-p 0.95，验证集与测试集上每个输入采样3次；评审模型为Qwen3.8-27B。论文未报告3次采样如何汇总、评审与人工的一致性，以及加性扫描后入选的层和系数（第4节）。
• 查询生成使用Gemma-4-31B-Instruct。附录A.2给出数据生成、评审和两类拒绝指令的提示词；生成模板含DOMAIN占位，正文未报告实际领域。Fig. 2–5的百分比未写入正文。

拒绝能否被低维激活方向同时诱导和抑制，取决于它来自安全对齐还是一般语境。

• 问题：现有操控常默认一个方向既足以诱导行为、也为其表达所必需。作者要度量两类拒绝各自的最小充分维数。
• 做法：用末token激活差构成对比矩阵，经PCA、SVD或K-Means取子空间。加性平移看能否诱导拒绝，投影消融看能否抑制拒绝。充分维数要求此前分数不降、此后接近饱和，且回答质量保持稳定。
• 安全对齐拒绝：在Llama-3.1-8B-Instruct与Qwen2.5-3B-Instruct上，作者称该行为是1维可操控的。加性在单方向上接近饱和；单方向消融足以抑制有害查询上的拒绝，包括加或不加安全拒绝指令。Qwen上三种构造均可；Llama上作者点名K-Means与SVD。
• 一般语境拒绝：作者称5维子空间仍不能稳定控制。Llama上K-Means的steerability在3维后大体饱和，但四个评测设置的方向消融仍然无效，作者称这有些反直觉。Qwen上消融能改变拒绝，同时损伤连贯性；图注将k∈{3,5}标灰，并称分数因此下降。
• 跨语境：安全对比抽出的子空间对一般拒绝抑制很少。作者认为两类拒绝占据不同的激活结构，拒绝没有统一几何。
• 作者的结论：评估某一行为能否被激活操控控制时，需要看steering dimensionality，而不能默认单方向；该维数随拒绝出现的语境变化。