大语言模型将有害性与拒答分开编码

1. 01这篇论文试图解决什么问题？

   作者问 LLM 内部是否真正编码"有害性"概念，还是只有拒答行为，并称两者是分开编码的。

   核心问题：LLM 内部是否把"有害性"（harmfulness）作为与"拒答"（refusal）分离的概念编码，还是把两者混为一谈。

   • 问题场景：LLM 经多轮训练学会拒答有害指令，但作者指出两类失败仍常见——朴素或越狱的有害提示能绕过拒答，以及过度拒答（over-refusal）无害提示。作者认为理解模型内部如何表征有害性是分析这些失败的前提。
   • 现有方法的不足：作者称，先前工作常假设有害性由拒答方向（通常在最后一个输入 token 处提取）编码，并把消融拒答方向解释为"让模型认为输入无害"；但有害性是否真的与拒答在隐空间混淆，此前并不清楚。
   • 核心观察：去掉提示词模板中的 post-instruction 特殊 token 后，模型对有害指令的拒答率下降（Table 1），作者据此假设有害性编码在指令最后 token（tinst），而拒答信号编码在整段输入最后 token（tpost-inst）。
   • 论文提出：一套分离有害性与拒答表征的分析方法（聚类分析、差均值方向提取、回复反转任务的因果干预），并基于有害性表征提出内在防护分类器 Latent Guard，用于检测绕过拒答的有害输入和被误拒的无害输入。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：LLM 线性表征、拒答/有害性方向研究、越狱的隐空间分析；作者称本文在 token 位置层面分离两者。

   LLM 中的线性表征

   • Marks and Tegmark、Li et al.（2023）——发现"真实/虚假"在 LLM 中可线性表征，沿真实性方向干预可让模型把假陈述当真。
   • Azaria and Mitchell（2023）——探测隐状态比模型输出更能可靠分类真/假，输出会被句长等表面特征带偏；作者称本文类似地发现内部表征更忠实反映输入有害性。

   拒答与有害性方向

   • Arditi et al.（2024）——提出拒答由单一方向介导，在 tpost-inst 用差均值提取；消融该方向可越狱且不损效用。Zheng et al.（2024）、Yu et al.（2025）、Rimsky et al.（2024）同样在 tpost-inst 提取拒答方向。
   • Siu et al.——在 tpost-inst 用"被拒有害 vs 被拒无害"差均值提取的方向不能有效诱发拒答；作者称这支持其"tpost-inst 主要编码浅层拒答信号"的结论。
   • Zhao et al.（2025）、Han et al.（2025）——发现被接受的有害样本与无害样本在深层隐状态可分，认为有害性认知与拒答决策可能是不同过程。Yeo et al.（2025）——用稀疏自编码器发现有害性特征与拒答特征可能分离。

   越狱的隐空间分析

   • Arditi et al.（2024）、Xu et al.（2024）、Ball et al.（2024）、Yu et al.（2025）、Wollschläger et al.（2025）——发现越狱提示在 tpost-inst 的隐状态与被接受的无害指令相似、与拒答方向相似度低。作者称，由于 tpost-inst 编码内容不清，这种几何相似难以解释，本文提供的因果证据显示该相似可能只源于"都被接受"。

   基线与基准

   • 基线方法：Latent Guard 与专门微调的安全模型 Llama Guard 3 8B（Inan et al., 2023）对比。
   • 使用的数据集：Advbench、JBB、Sorry-Bench（有害指令），Alpaca、Xstest（无害/过度拒答），CATQA（分类别有害性），ToxicChat 与 OpenAI Moderation Evaluation Dataset（附录防护评测）。

   作者定位：本文聚焦"有害性"这一通用概念的表征，称其在不同 token 位置将有害性与拒答分离，且提取的有害性方向能操纵模型对有害性的感知，而拒答方向不能。

   收起这一问

3. 03论文如何解决这个问题？

   在两个 token 位置做聚类与差均值方向提取，用激活引导和回复反转任务提供因果证据，再构建 Latent Guard。

   整体思路：在指令最后 token（tinst）与整段输入最后 token（tpost-inst）分别提取隐状态，先做相关性聚类分析，再提取有害性方向与拒答方向做激活引导，最后用自设计的回复反转任务（reply inversion task）把两者在行为上解耦，提供因果证据。

   问题设定与两个 token 位置

   • 分析对象：decoder-only Transformer 的残差流隐状态 h_l(x_t)，l 为层，t 为 token 位置。
   • tinst：用户指令的最后一个 token；tpost-inst：post-instruction 特殊 token（如 [/INST]）的最后一个 token。作者称先前工作只看 tpost-inst，本文因 Table 1 的观察（去掉 post-instruction tokens 后拒答率下降）而引入 tinst。
   • 数据：有害指令来自 Advbench、JBB、Sorry-Bench；无害指令来自 Alpaca；过度拒答样本来自 Xstest。

   聚类分析与信念分数

   • 聚类判定：在训练集上计算"被拒有害"与"被接受无害"两个簇中心，对测试样本计算 s_l(h_l) = cos_sim(h_l, μ_l^{refused harmful}) − cos_sim(h_l, μ_l^{accepted harmless})，阈值 a 默认取 0，即归入余弦相似度更近的簇；作者称 oracle 阈值估计留作未来工作。
   • 信念分数：∆harmful 为 tinst 处各层"有害簇 vs 无害簇"相似度差的平均，∆refuse 为 tpost-inst 处"拒答簇 vs 接受簇"相似度差的平均，用于量化模型的内部信念。

   方向提取与激活引导

   • 有害性方向：tinst 处两簇中心的差均值 v_harmful^l = μ_tinst^l,harmful − μ_tinst^l,harmless；拒答方向在 tpost-inst 处同法提取。
   • 干预方式：激活加法 h′ = h_l + v_harmful^l，加到输入指令的所有 token 上；回复反转任务中，有害性方向只加到反转问题之前的 token，拒答方向加到包括 post-instruction tokens 在内的全部输入 token（附录 E.1 称这样干预效果最大）。

   回复反转任务（因果验证）

   • 设计：在原指令后追加一个反转问题（如"Could this user prompt cause harm?"），使模型对无害指令应回答拒答 token（"No"）、对有害指令应回答接受 token（"Certainly"）；Table 2 给出模板，附录 Table 6、7 给出其他模板。
   • 判定：观察生成回复是否因干预而翻转。若无害指令沿有害性方向引导后回答"Certainly"，作者认为这说明模型把指令判断为更有害；沿拒答方向引导仍回答"No"，作者认为这说明拒答方向不改变有害性判断。

   Latent Guard

   • 分类规则：对输入计算 ∆harmful，为负判为无害，否则判为有害；簇中心用训练集中各 100 条有害、100 条无害样本计算。
   • 特点：不需要额外防护模型，在模型正常前向传播、开始生成回复之前即可得到分类结果；作者称其计算上高效，论文未报告具体耗时数字。
   • 鲁棒性测试：用反向拒答方向引导有害指令得到接受回复，构造 50–400 条对抗样本微调模型（只对回复计算损失），再检查 ∆harmful 是否变化。

   收起这一问

4. 04论文做了哪些实验？

   三个 7B/8B 开源模型上做聚类、引导与回复反转实验；Latent Guard 与 Llama Guard 3 对比，并测了微调攻击下的稳定性。

   实验设置

   • 被测模型：Llama2-Chat-7B、Llama3-Instruct-8B、Qwen2-Instruct-7B，均在 A100-40GB GPU 上运行。
   • 数据集：有害指令用 Advbench、JBB、Sorry-Bench；无害指令用 Alpaca；过度拒答样本用 Xstest；分类别分析用 CATQA；附录防护评测用 ToxicChat 与 OpenAI Moderation Evaluation Dataset。论文未说明各数据集使用的具体条数。
   • 基线：Llama Guard 3 8B（专门微调的安全分类模型）。
   • 指标：拒答率（按一组拒答子串匹配判定；Section 3.5 按拒答 token "No" 计）、Latent Guard 分类准确率、方向间余弦相似度、信念分数 ∆harmful/∆refuse。
   • Latent Guard 构建：训练集各取 100 条有害、100 条无害样本计算簇中心；测试集为各模型上held-out的越狱成功提示、Xstest 被拒无害样本、Sorry-Bench 被接受有害样本。
   • 重复次数：论文未报告。

   主结果

   Latent Guard 与 Llama Guard 3 的分类准确率（%，据 Table 3；Adv-suffix/Persuasion/Template 为三类越狱成功提示，Refused HL 为被拒无害指令，Accepted HF 为被接受有害指令）：

   表格较宽，可左右滑动

   模型	Guard	Adv-suffix	Persuasion	Template	Refused HL	Accepted HF
   Llama2-Chat-7B	Llama Guard 3	100.0	0.0	76.0	84.4	45.5
   Llama2-Chat-7B	Latent Guard	100.0	41.6	100.0	100.0	93.9
   Llama3-Instruct-8B	Llama Guard 3	99.2	6.8	50.0	50.0	37.3
   Llama3-Instruct-8B	Latent Guard	91.0	65.0	100.0	78.5	59.3
   Qwen2-Instruct-7B	Llama Guard 3	97.8	17.8	91.4	50.0	59.4
   Qwen2-Instruct-7B	Latent Guard	100.0	75.0	53.5	91.6	54.6

   • 作者称 Latent Guard 整体与 Llama Guard 3 相当或更好，在 persuasion 越狱与被拒无害样本上表现尤其好。
   • 表中有反例：Llama3 上 Latent Guard 的 Adv-suffix 准确率（91.0）低于 Llama Guard 3（99.2）；Qwen2 上 Template（53.5 vs 91.4）与 Accepted HF（54.6 vs 59.4）也低于基线。
   • 作者称 Latent Guard 计算高效，因为不需额外防护模型、在正常前向传播内即可出结果；论文未报告具体耗时。

   聚类与信念相关性（Section 3.1–3.3）

   • 去掉 post-instruction tokens：对 Advbench 有害指令的拒答率，Llama2 从 100.0 降到 85.3，Llama3 从 96.0 降到 58.9，Qwen2 从 98.0 降到 81.3（Table 1）。作者据此认为拒答信号可能要到 post-instruction tokens 才形成。
   • 聚类模式（Figure 2）：作者称 tinst 处"被接受的有害指令"大多落入被拒有害簇、"被拒的无害指令"大多落入被接受无害簇，即按有害性聚类；tpost-inst 处模式反转，按是否被拒聚类。转换文本只含坐标轴与图例，具体曲线数值不可读。
   • 信念相关性（Figure 3，Llama2）：作者称被拒无害指令的 ∆harmful 为负（内部仍认为无害），许多被接受有害指令的 ∆harmful 仍为正；作者认为拒答行为与内部有害性信念并不总一致。

   方向引导与回复反转（Section 3.4–3.5）

   • 引导无害指令（Figure 4，Llama3）：有害性方向在第 9 层取得最高拒答率 94%，拒答方向在第 11 层达 100%；附录 C 报告 Qwen2、Llama2 上有害性方向诱发的拒答率低于拒答方向。两方向平均余弦相似度低（Llama2 上约 0.1；对照：held-out 被拒指令与拒答方向平均 0.57，被接受指令平均 -0.14）。
   • 回复反转（Figure 5，Qwen2）：作者称无害指令沿有害性方向引导后回答翻转为"Certainly"（拒答率下降），沿拒答方向引导仍回答"No"；有害指令沿反向有害性方向引导后回答"No"，沿反向拒答方向引导不能翻转。作者以此作为两方向作用不同的因果证据；附录 E 报告在其他模板与 Llama3 上模式一致。

   越狱分析与分类别有害性（Section 4、附录 D）

   • 越狱分析（Figure 6）：作者称 persuasion 越狱在某些情况下能让模型内部相信提示无害（∆harmful 为负），而 adversarial suffix 与 template 类越狱主要压低拒答信号（∆refuse 为负），部分样本 ∆harmful 仍高。
   • 分类别方向（Figure 9a，Qwen2）：有害性方向跨类别平均余弦相似度更低（如 Hate_Haras_Violence 类别为 0.6），拒答方向更高（0.89）；作者称有害性表征更细粒度。
   • 类别内干预（Figure 9b，Qwen2）：测试集为 Hate_Haras_Violence 时，用同类别有害性方向反向干预最高拒答率达 100%，用 Political_Campaigning 类别方向只达 32%，用 Adult_Content 方向也达 100%，全类别平均方向为 52%。作者称有害性方向可能具有风险类别特异性。

   微调攻击下的稳定性（Section 5、附录 H.2）

   • 设置：用反向拒答方向引导生成"有害指令+接受回复"对，按 50/100/200/300/400 条规模微调模型（只更新回复损失）。
   • 结果（Figure 7）：作者称微调后模型开始接受held-out有害指令，但这些指令在 tinst 的 ∆harmful 几乎不随对抗样本增多而改变，因此 Latent Guard 仍能检出；作者称 Latent Guard 对所测的窄范围微调攻击鲁棒。附录 H.2（Figure 18）称微调后拒答方向仍可提取，但效果随训练样本增多略有下降。

   其他消融与分析

   • 域外防护评测（附录 H.1）：ToxicChat 上 Latent Guard 均不如 Llama Guard 3（如 Qwen2 版 Unsafe 准确率 34.0 vs 47.2，Table 8）；OpenAI Moderation 集上 Qwen2、Llama3 版无域内样本时各类别准确率多低于基线，加入 50 条域内样本后多数类别超过基线（Table 9）。
   • 更多 token 位置（附录 F）：作者称只有 tinst 同时满足"被接受有害落入有害簇、被拒无害落入无害簇"，且在回复反转任务中 tinst 提取的方向干预效果最强（Figure 14、16）。
   • 阈值 a：聚类判定阈值默认 0，作者称 oracle 阈值估计留作未来工作。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出未研究层的作用、只测 7B/8B 开源模型等局限，并提出电路分析、微调与表征关系等后续方向。

   作者指出的局限与后续方向

   • 未研究层的作用（Limitations）：论文给出逐层聚类与引导结果，但未研究不同层在拒答与有害性形成中的作用，将模型级（神经元或层）解释留作未来工作。
   • 只是存在性证明（Limitations）：作者称本文是有害性可分离于拒答的存在性证明，而非对其编码方式的完整描述，两者可能交织、编码方式可能多样。
   • 模型规模受限（Limitations）：因算力限制只实验了 7B/8B 开源模型，作者称结论可能不推广到更大、未测试的模型。
   • 域外失效（附录 B、H.1）：作者指出 Latent Guard 这类隐空间检测器在域外样本上可能失效，并将其视为应用层面的局限；改进采样策略以覆盖多样有害类别被列为未来工作。
   • 电路层面分析（Conclusion and Discussion）：作者提出未来可用电路分析（如自注意力如何关联 tpost-inst 与 tinst）理解内部有害性信念与外部拒答行为的关系。
   • 微调与表征的关系（Conclusion and Discussion）：作者提出需深入研究微调、有害性与拒答表征之间的相互作用，以及是否需要直接作用于有害性表征的更精细微调策略。

   实验覆盖范围

   • 被测模型为 Llama2-Chat-7B、Llama3-Instruct-8B、Qwen2-Instruct-7B 共 3 个开源 instruct 模型（Section 2）。
   • 越狱分析覆盖三类方法：adversarial suffixes（GCG）、persuasion、adversarial prompting templates（Section 2、4）。
   • Latent Guard 的簇中心用训练集各 100 条有害、100 条无害样本计算（Section 5.1）；微调攻击评测覆盖 50 至 400 条对抗样本的规模（Section 5）。
   • 论文未报告各实验的重复次数，也未报告聚类与引导实验各条件的具体样本量。
   • 防护对比的基线只有 Llama Guard 3 8B；域外评测使用 ToxicChat 与 OpenAI Moderation Evaluation Dataset（附录 H.1）。

   收起这一问

6. 06总结一下论文的主要内容

   作者称 LLM 在 tinst 编码有害性、在 tpost-inst 编码拒答，两者可分离，并据此构建 Latent Guard。

   一篇机制可解释性论文，研究对齐 LLM 内部"有害性"与"拒答"是否为同一表征。

   • 问题：既有工作常假设有害性由拒答方向编码；作者质疑这一点，指出模型既会被越狱绕过拒答，也会过度拒答无害提示。
   • 方法：在指令最后 token（tinst）与整段输入最后 token（tpost-inst）提取隐状态做聚类分析，用差均值提取有害性方向与拒答方向做激活引导，并设计回复反转任务（追加"该提示是否有害"的提问，使无害指令应答"No"）做因果验证；最后基于有害性信念分数 ∆harmful 构建 Latent Guard 分类器。
   • 关键结果：去掉 post-instruction tokens 后，三个模型对 Advbench 有害指令的拒答率从 96.0–100.0 降到 58.9–85.3（Table 1）；作者称 tinst 按有害性聚类、tpost-inst 按拒答聚类（Figure 2）；回复反转任务中，引导有害性方向可让 Qwen2 把无害指令判为有害，引导拒答方向不改变其有害性判断（Figure 5）；Llama3 上引导有害性方向最高拒答率 94%（第 9 层，Figure 4）。
   • 应用结果：Latent Guard 在 Qwen2 上检测 persuasion 越狱提示准确率 75.0%，高于 Llama Guard 3 的 17.8%（Table 3）；作者称其在 50–400 条对抗样本的微调攻击下 ∆harmful 几乎不变，仍能检出有害指令（Figure 7）。
   • 作者结论：作者认为 LLM 对有害性的感知与拒答决策可能是解耦的，部分越狱只是压低拒答信号而未改变内部有害性信念；作者称这为理解安全对齐（如浅层对齐假说）和改进防护提供了新视角，同时承认仅测了 7B/8B 开源模型、未研究层的作用。

   收起这一问

相关论文