跳到正文
原文

LLM 中的弃答方向:查询歧义、知识边界与安全对齐中弃答的机制可解释性

Abstention Direction in Large Language Models: Mechanistic Interpretability of Abstention Across Query Ambiguity, Knowledge Limits, and Safety Alignment

arXiv:其他 AI 安全论文· arXiv:2611.20441· Koki Itai, Jun Hirako, Hiroaki YamagiwaSB Intuitions Corp.本站收录· 2 天前· 原文发表对齐· 扫描记录里的位置 →

论文速读

可解释性

据论文 PDF 整理(AI 生成),以原文为准

作者将 refusal direction 推广到 Q、MK、HV 三种弃答视角,称在 Qwen3-4B 中层干预可双向控制弃答,且三方向共享部分成分。

问题
LLM 弃答的原因可分为 Query 歧义(Q)、模型知识边界(MK)与人类价值(HV)三类,但以往内部表示分析只针对 HV 的 refusal direction,三个视角是否共享结构未知。
方法
作者把 refusal direction 框架推广到三个视角:用 Kimi-K3 构建共享模板、仅翻转弃答诱因槽位的 counterfactual 对,取两极性平均激活之差并归一化得到 abstention direction,再用 activation steering 在推理时加减该方向干预。
实验与结果
在 Qwen3-4B 上,中层加减方向可分别提高或抑制三个视角的弃答,且效果强于 source-independent 基线;方向间余弦相似度为正(如 MK–HV 为 +0.190),作者称三视角共享部分方向成分;随机方向对照无效果。
局限与可以继续做的
作者称仅在 Qwen3-4B 与 Llama-3.2-3B-Instruct 两个模型、英文数据上验证;方向计算与评测同分布,分布外泛化未测;评审依赖 gpt-oss-120b 且只检测弃答、不评估输出质量;Kimi-K3 自生成自校验可能引入偏差。
实验设置Qwen3-4B、Llama-3.2-3B-Instruct · AmbigQA、Natural Questions 等 · AR、OAR 等
被测模型
Qwen3-4BLlama-3.2-3B-Instruct
基准
AmbigQANatural QuestionsFictionalQAAdvBenchAlpaca
指标
AROARcosine similarityFisher discriminant ratio
AI 导读Koki Itai 等研究者把拒答方向框架扩展到 LLM 弃答的查询歧义、知识边界与安全对齐三类成因,发现三类弃答方向共享一个方向成分。方法上,论文针对每类成因构造共享模板、仅差一个弃答诱因的反事实对,将两极平均激活之差归一化得到弃答方向。作者称,此前对内部表征的分析仅用有害与无害查询计算的拒答方向聚焦人类价值观视角,尚无研究联合分析三类成因。activation steering 实验显示,干预中间层可在三类场景中增加或减少弃答,且转向产生跨视角效应。

Koki Itai 等研究者把拒答方向框架扩展到 LLM 弃答的查询歧义、知识边界与安全对齐三类成因,发现三类弃答方向共享一个方向成分。方法上,论文针对每类成因构造共享模板、仅差一个弃答诱因的反事实对,将两极平均激活之差归一化得到弃答方向。作者称,此前对内部表征的分析仅用有害与无害查询计算的拒答方向聚焦人类价值观视角,尚无研究联合分析三类成因。activation steering 实验显示,干预中间层可在三类场景中增加或减少弃答,且转向产生跨视角效应。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者将 refusal direction 从 HV 推广到 Q、MK、HV 三个弃答视角,分析其内部表示是否共享结构。

    核心问题:LLM 弃答(abstention)的三类原因——Query 歧义(Q)、模型知识边界(MK)、人类价值(HV)——在内部表示中如何编码,是否共享共同结构,此前无人联合分析。

    • 问题场景:弃答指模型在不确定或有安全风险时拒答,作者按 Wen et al. (2025) 的分类将原因分为 Q、MK、HV 三个视角;弃答被视为缓解幻觉、提升可靠性与安全性的手段。
    • 现有不足:作者称,以往对内部表示的分析集中在 HV,使用由有害/无害查询算出的 refusal direction(Arditi et al., 2024);Aaliyan (2026) 只覆盖 HV 与 MK 两个视角,三个视角的联合结构未被分析。
    • 核心观察:作者还指出,以往 refusal direction 的 counterfactual 对来自相互独立的数据集(如 AdvBench 与 Alpaca),两极性间的分布差异会让方向混入弃答以外的概念。
    • 论文方案:作者提出 slot-flipped 构建法,让每对样本共享模板、仅在承载弃答诱因的槽位上不同,据此为每个视角计算 abstention direction,并用 activation steering 验证其对弃答行为的因果控制,再用余弦相似度与 Fisher 判别比分析三个方向的几何关系。
  2. 有哪些相关研究?

    相关工作分四组:activation steering、单视角弃答机制分析、跨视角分析,以及作为基线的 source-independent 构建。

    Activation steering 与线性概念表示

    • Arditi et al. (2024)——提出 refusal direction:从有害/无害查询的平均激活差得到单一方向,c > 0 诱导拒答、c < 0 抑制拒答,是本文框架的直接来源。
    • Turner et al. (2024) 与 Rimsky et al. (2024)——Activation Addition 与 Contrastive Activation Addition,沿概念方向干预激活以控制输出;Stolfo et al. (2025)、El-Shangiti et al. (2025) 将其用于指令遵循与数值比较。

    单视角的弃答机制分析(附录 A.2)

    • Q:Zhang et al. (2025b)——用线性探针发现查询歧义被线性编码且集中在少量神经元,干预这些神经元可使模型从直接回答转为请求澄清。
    • MK:Chen et al. (2026) 提出 Internal Confidence 估计查询是否在知识边界内;Lindsey et al. (2025) 发现默认拒答回路被"已知实体"特征抑制,该抑制误触发会导致幻觉。
    • HV:Wei et al. (2024)、Li et al. (2025) 报告拒答行为集中在特定神经元或子空间;Zheng et al. (2024) 发现安全指令提示会把输入表示推向提高拒答概率的方向。

    跨视角分析(附录 A.3)

    • Son et al. (2026)——比较知识型拒答与安全型拒答(约对应 MK 与 HV),发现两方向共享主成分、类型特异成分主要在深层;论文指出其未覆盖 Q,且 steering 实验只做加法。
    • Joad et al. (2026)——分析多种拒答类别,称各类别方向几何上不同但 steering 呈现相似的拒答–过度拒答权衡;论文指出其未把 MK 单列为类别。
    • Aaliyan (2026)——分析安全拒答与认知弃答两个方向;论文称三视角的统一干预分析仍缺失。

    基线与基准:基线是 source-independent 构建(沿用 Arditi et al. 的方式,如 AdvBench 作 D+、Alpaca 作 D−,附录 C);数据来自 AmbigQA、Natural Questions、FictionalQA、AdvBench、Alpaca;评测协议参照 AbstentionBench(Kirichenko et al., 2025)。作者定位:以隔离弃答诱因的 counterfactual 对,对 Q、MK、HV 做统一的加减双向干预与跨视角分析,称这是此前工作未覆盖的。

  3. 论文如何解决这个问题?

    对每个视角构建仅翻转弃答诱因槽位的 counterfactual 对,取平均激活差归一化得到 abstention direction,再做 activation steering。

    整体思路:把 Arditi et al. (2024) 的 refusal direction 推广为三个视角各自的 abstention direction,并用 slot-flipped 数据集隔离弃答诱因,再通过 activation steering 验证因果效应。

    问题设定与方向定义

    • 对每个视角 p ∈ {Q, MK, HV},准备应弃答集合 Dp+ 与可回答集合 Dp−,取层 ℓ 末 token 激活的两极性均值之差并归一化:r̂p(ℓ) = rp(ℓ) / |rp(ℓ)|,其中 rp(ℓ) = x̄p(ℓ,+) − x̄p(ℓ,−)。归一化是因为各视角、各层的范数差异大(附录 H),便于比较。
    • 每个方向用 64 个 counterfactual 对计算;实现基于 TransformerLens,取 blocks.{ℓ}.hook_resid_pre,排除最后一层(ℓ = 36)。

    Slot-flipped counterfactual 对构建

    • 动机:source-independent 构建(如 AdvBench 配 Alpaca)让两极性保留来源分布差异,方向可能混入弃答以外的概念(Section 4.1)。
    • 流程(附录 B):用 Kimi-K3 分三步——Phase 1 从对立极性来源抽取替换候选表达;Phase 2 把查询中的弃答诱因替换为槽位得到模板,再注入同类型、反极性的短语翻转极性;Phase 3 规则过滤加 LLM 验证。
    • 各视角槽位:Q 翻转限定词或话题实体(AmbigQA);MK 把真实实体换成虚构实体(Natural Questions 配 FictionalQA);HV 把有害动作与对象换成良性动作与对象(AdvBench 配 Alpaca)。最终对数:Q 1,199、MK 767、HV 377(Table 1)。

    Activation steering 干预

    • 推理时在层 ℓ 的激活上加减方向:x′ = x + m · r̂p,m > 0 放大弃答、m < 0 抑制弃答;m 与 Eq. 3 的系数 c 通过 m = c·‖rHV‖ 对应。
    • 干预幅度:Qwen3-4B 用 |m| ∈ {2, 4, 8, 16, 32},主文报告效应最大的 m = ±16;Llama-3.2-3B-Instruct 因未归一化向量范数约为 Qwen3-4B 的 10⁻¹ 倍,改用 |m| ∈ {0.25, 0.5, 1, 2, 4, 8}(附录 D)。

    评测方式

    • 指标:AR(应弃答查询中实际弃答的比例,对应 AbstentionBench 的 abstention recall)与 OAR(可回答查询中被弃答的比例);AR 高、OAR 低为好。
    • 判定:LLM-as-a-Judge,用 gpt-oss-120b 配 AbstentionBench 的评测提示词,只做弃答检测、不做正确性评估。
    • 评测数据:每个视角 128 对(256 条)未参与方向计算的 slot-flipped 测试对;每条查询用 3 个采样种子生成,报告 3 次运行的均值 ± 标准差。
  4. 论文做了哪些实验?

    在 Qwen3-4B 上做逐层 steering:slot-flipped 方向在中层双向控制三个视角的弃答,效果强于 source-independent 基线,方向间余弦相似度为正。

    实验设置

    • 被测模型:主实验 Qwen3-4B(L = 36,d = 2560,thinking mode;非思考模式见附录 F);Llama-3.2-3B-Instruct 结果在附录 D。
    • 数据:方向计算每视角 64 对;评测每视角 128 对(256 条)未用于方向计算的 slot-flipped 测试对,两种方向共用同一测试集。
    • 基线:source-independent 构建的方向(附录 C,Q 1,199 对、MK 767 对、HV 377 对,与 slot-flipped 等量);另有随机方向对照(附录 E)。
    • 指标与评审:AR 与 OAR;judge 为 gpt-oss-120b(reasoning effort medium,temperature 0.0),用 AbstentionBench 评测提示词,仅做弃答检测。
    • 重复次数:每查询 3 个采样种子,报告均值 ± 1 个标准差;随机方向对照仅单次生成。
    • 解码:Qwen3-4B thinking 模式 temperature 0.6、top-p 0.95、top-k 20(附录 G)。

    主结果

    主结果在 Figure 3(Qwen3-4B thinking 模式,m = ±16 逐层干预),论文以曲线呈现、未给逐层数值表;可回查的定量结果如下:

    结果数值条件与出处
    HV 无干预 AR1.0Qwen3-4B,加法后仍为 1.0(Section 6.1 及脚注 9)
    MK–HV 方向余弦相似度+0.190各自最有效层 ℓ = 19 与 ℓ = 17(Section 7.1.2)
    Q–MK 方向余弦相似度+0.163ℓ = 20 与 ℓ = 19(Section 7.1.2)
    Q–HV 方向余弦相似度+0.092ℓ = 20 与 ℓ = 17(Section 7.1.2)
    FDR 峰值(MK / HV)1.15 / 2.65ℓ = 23 / ℓ = 21(Figure 8)
    思考/非思考模式趋势相关AR 0.94、OAR 0.93m = ±16 六面板平均 Pearson(Figure 16)
    • 作者称,slot-flipped 方向在中层呈现与干预方向一致的效果:加法提高 Q、MK 的 AR 与三个视角的 OAR,减法降低三个视角的 AR;早期层常出现文本退化(× 标记,退化率 > 10%),被排除分析。
    • 作者称,source-independent 方向在三个视角、两个干预方向上的效应都小于 slot-flipped(Figure 3b),说明方向计算的数据构建方式影响干预效果。
    • HV 的 AR 无干预时已为 1.0、OAR 已很小,作者指出加法对 AR、减法对 OAR 的效果无从体现。

    跨视角效应与几何分析

    • 测了什么:用一个视角的方向干预、在三个视角上评测(Figure 3a 半透明线),并算方向间余弦相似度(Figure 7)与 FDR(Figure 8)。
    • 结果:跨视角效应存在且不对称——干预 Q 只改变 MK 的 AR、不影响 HV,干预 MK 或 HV 则影响另外两个视角;Figure 6 给出 HV→MK 减法干预诱发幻觉的定性案例。MK–HV 余弦相似度在各层大致非负,Q–MK 随层加深上升、Q–HV 下降。
    • 作者解读:三个方向非正交、共享共同成分;MK–HV 相似度较大与其双向跨视角效应一致,Q–HV 相似度小于 Q–MK 与"减 Q 方向几乎不降低 HV 的 AR"一致。FDR 上 MK、HV 在中层升高而 Q 没有,作者归因于 Q 的两极性差异仅限定词与话题实体、可能难以在激活空间分离;干预生效的层与 FDR 升高的层大致重合。

    对照与模式对比

    • 随机方向对照(附录 E):随机单位向量(与弃答方向余弦约 0 ± 0.02)干预下 AR、OAR 无系统性变化(Figure 15),作者称效应来自方向朝向而非扰动幅度。
    • 思考/非思考模式(附录 F):两种模式逐层趋势几乎一致(AR 相关 0.94、OAR 0.93),作者称弃答方向的因果效应不依赖生成模式;两种模式下中等 m 的加法都会诱发过度弃答。
    • 定性分析(Section 6.3、附录 I):加 Q 方向后模型从自信错答转为识别歧义并请求澄清(Figure 5);减 MK/HV 方向后模型对虚构实体或有害请求转为自信作答(Figure 18)。

    其他消融与分析

    • 注入幅度扫描(Figure 4):在各自效应最大的层(如 Q 的 ℓ = 20、MK 的 ℓ = 19/22、HV 的 ℓ = 17/18),slot-flipped 在小 |m| 下即有效应,且在各 m 上效应大于 source-independent。
    • 全部幅度结果(附录 D):效应随 |m| 增大而增强;Qwen3-4B 在 |m| = 32 时部分设置的文本退化率超过 10%。
    • 未归一化方向范数(附录 H):Qwen3-4B 中 HV 范数自中层起大于 Q、MK;范数量级 Qwen3-4B 约 10²、Llama-3.2-3B-Instruct 约 10¹。
    • 计算成本(附录 J):生成与评审合计约 1,310 GPU 小时(NVIDIA H100),其中 gpt-oss-120b 评审占 800 GPU 小时。
  5. 有什么可以进一步探索的点?

    作者列出模型覆盖、方向语义解释、分布外泛化、语言、评审偏差等局限;实验仅覆盖两个模型与英文。

    作者指出的局限与后续方向

    • 仅在 Qwen3-4B 与 Llama-3.2-3B-Instruct 两个模型上验证,推广到其他模型家族与更大模型未测(Conclusion–Limitations)。
    • 弃答方向究竟表征什么仍未解决,方向内部结构的解释留作未来工作(Conclusion–Limitations)。
    • 弃答诱因限于 Wen et al. (2025) 三视角分类下的特定因素,扩展到 AbstentionBench 的场景级细分是未来方向(Conclusion–Limitations)。
    • 方向计算与评测使用同一 slot-flipped 分布,分布外泛化未测;作者称本文目标是证明方向存在,泛化评估留作未来工作(Conclusion–Limitations)。
    • 分析仅覆盖英文,其他语言中方向是否存在、共享结构是否成立未测(Conclusion–Limitations)。
    • 评测依赖 gpt-oss-120b 的 LLM-as-a-Judge,可能含评审模型特有偏差;judge 只检测弃答、不评估干预后输出的正确性或流畅性,输出质量仅做定性检查,定量评估留作未来工作(Conclusion–Limitations)。
    • Kimi-K3 既生成又自校验 slot-flipped 对,其模型偏差可能进入数据集,规则检查只能缓解(Conclusion–Limitations)。

    实验覆盖范围

    • 被测模型为 Qwen3-4B(thinking 与 non-thinking 两种模式)和 Llama-3.2-3B-Instruct,共 2 个模型(Section 5.2、附录 D)。
    • 方向计算每视角 64 对,评测每视角 128 对、每查询 3 次采样(Section 5.1、5.3.2)。
    • 干预实验覆盖逐层(排除末层与文本退化率 > 10% 的早期层)与多个注入幅度(Section 6、附录 D)。
    • 评审为 gpt-oss-120b 单次判定,论文未报告评审与人工标注的一致性(Section 5.3.2)。
    • 伦理声明称该方法需要白盒访问模型权重,风险限于开放权重模型(Ethical Considerations)。
  6. 总结一下论文的主要内容

    作者把 refusal direction 推广到 Q、MK、HV 三个弃答视角,称中层 steering 可双向控制弃答且方向间部分共享。

    一篇机制可解释性论文:把原本只刻画安全拒答(HV)的 refusal direction 框架推广到 Query 歧义(Q)、模型知识边界(MK)、人类价值(HV)三个弃答视角,并分析三个方向的共享结构。

    • 问题:以往内部表示分析只针对 HV,三个视角是否由方向编码、是否共享共同成分未知;且以往 counterfactual 对来自独立数据集,方向易混入弃答以外的概念。
    • 方法:提出 slot-flipped 构建——用 Kimi-K3 把查询模板化、仅翻转承载弃答诱因的槽位(Q 的限定词/话题实体、MK 的真实/虚构实体、HV 的有害/良性动作与对象),取两极性平均激活之差并归一化得到 abstention direction,再以 activation steering(x′ = x + m·r̂)在推理时加减干预。
    • 主结果:在 Qwen3-4B 上,中层干预与方向一致地改变弃答——加法提高 AR/OAR、减法降低 AR;slot-flipped 方向的效应在各视角、各幅度上都大于 source-independent 基线(Figure 3、4);随机方向对照无效应(附录 E)。
    • 共享结构:三个方向余弦相似度为正(MK–HV +0.190、Q–MK +0.163、Q–HV +0.092),跨视角干预不对称地影响其他视角(如减 HV 方向在 MK 查询上诱发幻觉);MK、HV 的激活在中层 FDR 峰值分别达 1.15、2.65,Q 无此现象。作者称弃答表示兼具视角特异性与部分共享结构。
    • 结论与启示:作者称这是把 refusal direction 扩展到三视角并分析共享结构的工作;伦理声明指出减 HV 方向可被用于越狱、减 Q/MK 方向会削弱真实性对齐,但因需白盒访问,风险限于开放权重模型,作者认为公开该研究有助于防御研究。
阅读原文arxiv.org