研究揭示细粒度危害信号在 LLM 安全中的作用

类别有害表征在去掉共享一般有害成分之后，剩下的类别残差是否仍编码有害性、能否诱发拒答，并如何影响下游计算。

• 部署背景： 作者认为，LLM部署变广后，理解安全行为的内部机制更重要。已有工作找到介导拒答的一维方向，并把拒答与用户提示最后一个token上的有害性表征区分开。
• 缺口： 有害性表征随风险类别变化，作者据此认为模型编码类别有害性；这些表征又有大量共享，作者据此认为模型也编码一般有害性。超出共享成分、用来区分类别的部分如何编码并参与安全行为，作者认为仍不清楚。
• 类别残差： 作者把这部分称为类别残差，即从各类别有害向量中移除一般有害向量所能解释的成分，使它在每一层都与一般有害方向正交，再用激活转向检验其作用。
• 范围与主张： 实验使用Gemma-2-9B-IT、Llama-3-8B-Instruct、Qwen2.5-7B-Instruct和CatQA的11个类别。作者称，残差是否带有害性因类别而异且跨模型模式相近；能否诱发拒答也因类别而异，但更依赖模型；残差通常还会提高下游对一般有害表征的对齐。

相关工作主要涉及拒答的内部方向、有害性与拒答的分离、跨类别共享的一般有害性，以及线性擦除后的可恢复性。

拒答的内部方向

• Arditi等（2024）： 识别出介导拒答的一维方向。附录B的拒答判定沿用该工作与Zhao等（2025）的固定子串做法。

有害性表征随类别变化

• Zhao等（2025）： 把拒答和有害性表征分开，并把有害性放在用户提示的最后一个token；同时写到有害性表征随风险类别变化。本文在这个token上取残差流，并改编其reply-inversion来测有害性归因。

共享的一般有害性

• Shah等（2025）： 引言引用该工作，写不同类别的有害性表征之间存在大量共享，作者据此认为模型也编码跨类别的一般有害性。

线性擦除之后

• Ravfogel等（2023）： 论文将其概括为，被线性擦除的概念的信息仍可能从下游模型输出中间接恢复。作者在Discussion中认为，干预层正交的方向仍可提高下游读出，这一结果与该工作互补。

基线与所用数据

• 未转向输出是行为实验的对照。下游实验另用5个在干预层与一般有害向量正交的随机方向。风险类别采用CatQA（Bhardwaj等，2024）的11类、每类5个子类；转向所用的良性指令来自Alpaca（Taori等，2023）。

作者的定位是：拒答方向、类别有害性和共享一般有害性已有文献讨论，而类别残差如何进入安全行为与下游计算仍不清楚。作者称理解LLM安全时，类别残差应与一般有害表征一并考虑；在某一层与某概念正交，仍可能在下游放大该概念。

作者把与一般有害方向正交的类别残差抽出来，用激活转向检验它是否进入有害性判断、拒答和下游计算。Figure 1给出构造示意。

配对、位置与有害向量

• 筛选： 模型为Gemma-2-9B-IT、Llama-3-8B-Instruct、Qwen2.5-7B-Instruct。有害与无害提示在话题和句式上接近、有害意图不同；只保留该模型拒答有害提示并回答无害提示的配对。
• 数量： 共12组、每组100对。11组对应CatQA类别，每组从5个子类各抽20对；另一组在类别间大致均匀混合，用于一般有害向量。附录A的Table 1是类别—子类表，Table 2每类给一对示例。
• 位置： 按Zhao等，取每一层残差流在最后一个用户指令token的激活。用户写下的指令称为用户指令token；聊天模板在其后自动添加的token称为chat-template suffix。
• 有害向量： 层l上，某组的有害向量是有害提示在该位置的激活均值减去无害提示的激活均值。类别组得到类别有害向量，混合组得到一般有害向量。

去掉一般有害成分

类别残差按类别、按层计算：ṽ_c^(l)=v_c^(l)−(v_c^(l)·v̂_g^(l))v̂_g^(l)。该式从类别有害向量中减去它在一般有害单位方向上的投影，使残差与同层的一般有害向量正交。

三类干预

• 有害性归因： 改编reply-inversion。良性指令被放进“是否会造成伤害”的问题，可能有害时应答Certainly，否则答No，期望答案为No。在该良性指令对应的token上，每一层都加上类别残差。前40个字符内出现Certainly即计为肯定，报告相对未转向基线的百分点增幅。
• 拒答诱导： 以良性指令的未转向回答为基线，把残差加到全部用户指令token和chat-template suffix上，统计基线非拒答有多少变为拒答。回答先转小写，命中附录B任一固定子串即判拒答；附录B给出完整列表。
• 行为实验的尺度： 每一层加入的是α乘该层一般有害向量范数，再乘单位类别残差；该范数用来在类别之间共用尺度。Gemma与Llama取α=0.25，作者称这是仍能保持生成连贯的中等强度；Qwen在α=0.25时变化很小，因此取α=0.6。作者称各模型的绝对效应不能直接比较。
• 下游对齐： 只在最后一个用户指令token上、每次干预一层，加入β倍该层激活范数的单位残差，x^(l)← x^(l)+β|x^(l)|ṽ̂_c^(l)，β取0.2、0.4、0.6。作者这样缩放，是为了让β在不同层表示相近的相对强度。对每个下游层计算激活与该层一般有害向量的余弦相似度相对基线的变化，再对全部下游层平均；对照是5个在干预层与一般有害向量正交的随机方向。

评测用的良性指令

三项实验共用同一批100条良性Alpaca提示，只保留未转向基线中不拒答的样本，并在另一组不相交的100条上整套重跑。论文未写出过滤后剩下多少条。

三类实验都在良性Alpaca提示上转向类别残差。有害性归因的类别模式跨模型相近，拒答更依赖模型，下游与一般有害向量的对齐通常上升。

实验设置

• 模型： Gemma-2-9B-IT、Llama-3-8B-Instruct、Qwen2.5-7B-Instruct，均为指令微调模型。
• 向量数据： CatQA的11类，每类5个子类、每子类20对，计100对；另100对大致均匀混合，用于一般有害向量。配对须被该模型拒答有害条并回答无害条。
• 行为指标： α为0.25（Gemma、Llama）或0.6（Qwen）。归因看Certainly比例相对基线的百分点增幅，词须出现在前40个字符内。拒答率看基线非拒答是否变成附录B的子串拒答。
• 下游指标： 每次一层，β为0.2、0.4、0.6。每个注入层报告所有下游层上、与一般有害向量余弦相似度相对基线的平均变化。对照为5个同层正交随机方向。
• Alpaca： 方法节用同一组100条良性提示，只留未转向时不拒答者；附录D再用不相交的100条。论文未报告过滤后条数。
• 相关： 类别排序用Spearman ρ，有害性一节写明n=11。论文未报告p值或显著性检验，也未报告子串判定与人工的一致性。

主结果

Figure 2左侧轴为Change in certainly(harmful)（pp，刻度至70），右侧为Induced refusal rate（%，刻度至60）。正文写出的逐类柱值只有Section 3.2的两组Qwen结果。下表是11个类别排序的Spearman ρ（有害性见Section 3.1，拒答见Section 3.2）。Gemma与Llama的α=0.25，Qwen的α=0.6；作者称绝对效应不宜跨模型直接比较。

模型对	有害性归因ρ	拒答诱导ρ
Gemma–Llama	0.97	0.80
Gemma–Qwen	0.92	0.75
Llama–Qwen	0.89	0.59

• 有害性归因： 作者称hate/harassment/violence与adult content在三个模型上效应最大；child abuse、physical harm、illegal activity、privacy violation为正但较小；其余类别较弱或接近基线。作者认为，一些残差仍保留可检出的有害性，另一些主要捕捉类别语义。
• 拒答诱导： 作者称残差可以把基线非拒答变成拒答，但模型间不均匀，且跨模型关联弱于有害性归因。adult content在Gemma和Qwen上诱导拒答率最高，在Llama的11类中排第5。模型内两类行为的秩相关为Gemma 0.94、Llama 0.81、Qwen 0.82。
• Qwen上的分开： hate/harassment残差使有害判定上升60.6个百分点，诱导拒答率1.0%；illegal activity上升5.1个百分点，诱导拒答率7.1%（α=0.6）。作者报告，更强的有害性归因不必带来更强的拒答。

下游一般有害对齐

• 测了什么： 在良性提示的最后用户指令token上逐层注入单位类别残差。Figure 3为β=0.6，Figure 4、5为β=0.2与0.4；虚线是5个随机正交方向的均值。
• 图上刻度： Figure 3纵轴为Mean change in downstream general-harm cosine similarity，刻度从−0.02到0.08；注入层横轴Gemma标到40、Llama到30、Qwen到25。Figure 4纵轴标有0.010与−0.005，Figure 5标有0.04与−0.02。正文没有列出各曲线的峰值或端点。
• 作者的解读： 作者称多数类别残差高于随机对照，并通常在中后层更高；该模式随β从0.2增到0.6而增强。作者认为，与一般有害方向在干预层正交的方向，仍可能经后续层变换，使下游激活更对齐一般有害表征。

另一组Alpaca样本

• 测了什么： Section 3.3称三项结果在不相交的第二组100条Alpaca上仍然一致。Figure 6前两幅里，每个点是一个模型的一个类别；下游一幅里，每个点是β=0.6时一个类别在一个注入层的结果。
• 图上内容： 横轴为样本A，纵轴为样本B，虚线为y=x。有害性轴标到70，拒答率轴标到60，余弦变化轴从−0.02到0.08。
• 作者的解读： 图注称点围绕y=x聚集，因此主结果在新样本上保持一致。论文未给出两组样本之间的相关系数。

其他消融与分析

• α：Gemma、Llama为0.25；Qwen在0.25时变化很小，Figure 2使用0.6（图注）。
• β：0.2、0.4、0.6；作者称增大时，下游对齐高于随机对照的模式增强（Figure 3–5，附录C）。
• 随机方向：每个干预层5个，与该层一般有害向量正交；图中虚线为其均值。

作者在Section 6把局限写在推广范围和拒答测量两方面。

作者指出的局限与后续方向

• 推广（Section 6）： 作者写，三个规模相近的模型、一套分类体系，以及只在最终用户指令token上提取方向，会进一步限制这些结果能推广多广。
• 测量（Section 6）： 作者写，基于子串的拒答分类器和特定任务格式，可能无法充分刻画拒答行为。

Limitations一节只写了以上两点。Discussion和Conclusion没有另列后续实验计划。

实验覆盖范围

• 被测模型为Gemma-2-9B-IT、Llama-3-8B-Instruct、Qwen2.5-7B-Instruct（Section 2.1）。
• 残差按CatQA的11类构造，每类5个子类、100对，另有混合的100对用作一般有害向量（Section 2.1，附录A）。
• 实验包括有害性归因、拒答诱导和下游余弦变化；β取0.2、0.4、0.6，并设5个正交随机方向（Section 2.2，Figure 2–5）。
• 行为实验里Gemma与Llama的α=0.25，Qwen的α=0.6；作者称绝对效应不能直接比较（Figure 2图注）。评测指令来自Alpaca：方法节写100条并保留不拒答样本，附录D写两组不相交的各100条。
• 论文未报告过滤后的条数、Spearman ρ的p值，以及子串拒答判定与人工判断的一致性。

作者分离出与一般有害方向正交的类别残差，用来检查细粒度有害信号是否参与LLM的安全行为。

• 要分开的东西： 有害性表征既随CatQA类别变化，又在类别之间共享一般有害成分。作者从类别向量里去掉这一共享成分，看残差是否还带有害性、能否诱发拒答、会不会推动下游的一般有害表征。
• 怎么抽： 在Gemma-2-9B-IT、Llama-3-8B-Instruct、Qwen2.5-7B-Instruct上，每类100对话题和句式接近的有害/无害提示，于每层最后用户指令token做激活差，再减去一般有害方向上的投影。行为转向按一般有害向量的范数缩放，下游转向按激活范数缩放并每次只动一层。
• 排序： 有害性归因的跨模型Spearman ρ为0.97、0.92、0.89（Gemma–Llama、Gemma–Qwen、Llama–Qwen，n=11）。拒答诱导的对应ρ为0.80、0.75、0.59。Gemma与Llama用α=0.25，Qwen用α=0.6，作者称绝对大小不能直接比较。
• 两类行为可以分开： 模型内两类指标的ρ为0.94、0.81、0.82。Qwen的hate/harassment残差是+60.6个百分点对1.0%拒答，illegal activity是+5.1个百分点对7.1%拒答。adult content的拒答率在Gemma和Qwen最高，在Llama的11类里排第5。
• 下游与作者结论： 作者称多数残差会提高下游与一般有害向量的余弦相似度，高于5个正交随机方向的均值，且β从0.2到0.6时该模式增强；换一组100条Alpaca提示后主结果仍一致。作者的结论是，一层上的正交方向仍可能加强下游的一般有害对齐；理解安全行为时，类别残差要和共享的一般有害表征一起看。