跳到正文
原文
arXiv· arXiv:2511.08579· Belinda Z. Li, Zifan Carl Guo, Vincent Huang, Jacob Steinhardt, Jacob Andreas·本站收录· 原文发表精选关注度54

训练语言模型解释自身的内部计算

Training Language Models to Explain Their Own Computations

论文速读

可解释性

据论文 PDF 整理（AI 生成），以原文为准

微调解释器复现可解释性流程；作者称自解释在三类任务上多高于他模。

问题
提示模型解释决策时，口头说明可能与内部计算脱节。作者要检验：能否用可解释性流程作监督，训练模型描述自身特征、激活干预和输入影响，且自解释是否比他模更准。
方法
固定目标模型，只微调解释器。监督来自自动特征描述、激活修补和输入消融；把内部方向作为连续token插入解释器嵌入层，隐藏维不同则按层学线性投影。
实验与结果
留出SAE上，Llama-3.1-8B自解释的LM judge为76.2±0.9。Qwen3-8B自解释的修补、消融精确匹配为64.0±0.4、83.4±1.0，高于他模与未训练版。作者称0.8%数据时更省样本。
局限与可以继续做的
作者在§7把解释器容量、目标复杂度、任务难度对特权访问的影响列为后续问题，并提议把自一致性目标推广到其他计算描述或反向对齐。主文定量结果写的是Llama-3.1-8B的特征描述，以及Qwen3-8B上的修补与输入消融。
实验设置Llama-3.1-8B、Qwen3-8B 等 · Llama-Scope Llama-3.1-8B-LXR-32x、Neuronpedia 等 · LM judge score、simulator score 等
被测模型
Llama-3.1-8BQwen3-8BGemma 2Llama-3-8BLlama-3.1-8B-InstructLlama-3.1-70B
基准
Llama-Scope Llama-3.1-8B-LXR-32xNeuronpediaFineWebCounterFactMMLU
指标
LM judge scoresimulator scoreHas-Changed F1Content MatchExact Match
AI 导读和推荐理由论文提出并检验“特权访问假设”：微调后的解释器模型在描述目标模型的内部计算时，模型解释自身优于由其他模型充当解释器，即便后者规模更大或经过指令微调。作者以自动解释、activation patching 和 input ablation 三类可解释性方法的输出作为监督，训练模型用自然语言描述内部特征、内部激活的因果结构以及关键输入 token 的影响，仅用数万条示例即可泛化到新特征。自解释约比最近邻基线样本效率高一百倍，仅用 0.8% 的训练数据即达到可比结果；未微调的模型在输入消融任务中很少报告提示词对输出的影响。

论文提出并检验“特权访问假设”：微调后的解释器模型在描述目标模型的内部计算时，模型解释自身优于由其他模型充当解释器，即便后者规模更大或经过指令微调。作者以自动解释、activation patching 和 input ablation 三类可解释性方法的输出作为监督，训练模型用自然语言描述内部特征、内部激活的因果结构以及关键输入 token 的影响，仅用数万条示例即可泛化到新特征。自解释约比最近邻基线样本效率高一百倍，仅用 0.8% 的训练数据即达到可比结果；未微调的模型在输入消融任务中很少报告提示词对输出的影响。

推荐理由论文以可解释性方法的输出作监督微调解释器，发现模型解释自身内部计算优于解释其他模型，数据效率也更高。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者检验模型能否经微调忠实描述自身计算，以及自解释是否更准。

    语言模型能否学会忠实描述自身内部计算，且自解释是否比其他模型更准。

    • 场景： 作者称，被提示解释决策时，输出常看似合理，却未必对应产生该决策的计算；归因与机制分析显示，口头解释有时系统性地对不上内部因素。
    • 现有不足： 作者称零样本自我解释依赖超参数调节；自动特征描述与电路发现计算开销大，且难扩展到新模型与新任务。只描述输出分布，还不是描述内部表示与机制。
    • 假设： 特权访问假设（Privileged Access Hypothesis）：被训练去解释自身内部计算的模型，可以比其他被训练来解释它的模型更准确，即便后者更大或做过指令微调。
    • 做法： 目标模型固定，只微调解释器。以现有可解释性流程为监督，生成三类说明：特征编码什么、激活修补后输出如何变、删去部分输入后答案如何变。作者所用 self-explaining 较松：解释器输出分布会改变，并非严格自我一致。

  2. 有哪些相关研究？

    相关工作涉及思维链忠实性、自动可解释性与内省争论；作者用细粒度监督训练自解释。

    思维链忠实性

    • 不忠实的口头理由： Turpin 等（2023）、Lanham 等（2023）、Barez 等（2025）、Chen 等（2025）讨论思维链或口头解释可以偏离真实决策。Korbak 等（2025）、Baker 等（2025）把思维链用作外部监测。
    • 与本文的衔接： 作者称 hint 消融直接受此启发，改为在模型自己的决策规则上训练。

    机制可解释性

    • 人工与自动流程： 作者称 Gurnee 等（2024）、Wang 等（2023）、Nanda 等（2023）一类人工分析难以扩展（Sharkey 等，2025）。自动特征描述（Hernandez 等，2022；Bills 等，2023；Choi 等，2024；Paulo 等，2025）与电路发现（Conmy 等，2023；Syed 等，2024；Hanna 等，2024；Hsu 等，2025）被引入，但作者称往往很耗计算。
    • 读出与微调： Logit Lens、Patchscopes（Ghandeharioun 等，2024）、SelfIE（Chen 等，2024a）做零样本自我解释；作者称需要较多超参数调节（Kharlapenko 等，2024）。Latent Interpretation Tuning（Pan 等，2024）经由激活回答关于其他模型输入的问题，后续工作扩展了设定（Karvonen 等，2026；Choi 等，2025；Huang 等，2025）。Goel 等（2025）用 LoRA 言语化微调权重差。

    内省与元认知

    • 特权访问之争： Binder 等（2025）、Treutlein 等（2024）、Laine 等（2024）、Comsa 与 Shanahan（2025）、Plunkett 等（2025）、Lindsey（2025）研究模型有无元认知或内省。作者称争论在于：这是对内部的特权访问，还是强预测能力学到的外部相关（Song 等，2025a；2025b；Li 等，2025）。

    基线与数据

    • 对照： 最近邻、SelfIE（未微调 Llama-3.1-8B，在 v、5v、10v、25v、50v 上取优）、Neuronpedia 的 gold SAE 标签。数据为 Llama-Scope SAE、FineWeb、CounterFact、MMLU。

    作者把本文放在这条线上：用机制流程收集更细的监督，训练模型言语化自身计算，并把解释做成带内输出，而不是只靠外部界面。

  3. 论文如何解决这个问题？

    以可解释性流程为监督，微调解释器复现特征描述、激活修补与输入消融。

    整体上，解释器用外部流程 T 作监督，回答关于固定目标模型 M 的问题 q。作者只微调解释器，不更新目标。

    问题设定

    • 对象： 网络写成输入 x、隐藏表示 h、输出 y。解释要能说明 x 的什么信息进入 h，以及如何影响 y。
    • 三类问题： 层 ℓ 的方向 v 对什么输入激活；改该层某 token 的激活后输出如何变；删去输入子集后答案如何变。
    • 监督： 损失为 LE=−Eq[log pE(E=T(M,q)|q)]，即复现 T 对 q 的答案。解释器与目标都是 Transformer。

    特征描述

    • 外部流程： 激活是方向与残差流的内积。模拟器按描述 E 预测激活，再取 Tfeat(M,v,ℓ)=argmaxE Ex[corrt(av(x,ℓ,t),â(x,t,E))]，使模拟激活与真实激活的相关最大。
    • 标签来源： 模拟器沿 Choi 等（2024），用 Neuronpedia 标签和 FineWeb 样例训练。编码 q 与 E 的提示词在附录 F。
    • 如何送入 v： 把 v 作为连续 token 插入解释器嵌入层。隐藏维不同时，每层一个线性投影，与解释器联合训练。
    • 方向集合： 训练用 Llama-Scope 的 Llama-3.1-8B-LXR-32x，每层残差映到 131K 个 SAE 特征，为残差维的 32 倍。作者称其他组件上的特征在早期实验中难以复现，故改插嵌入层。

    激活修补

    • 问题： 在输入 x 上替换层 ℓ、位置 t 的激活后，输出是否改变，以及变成什么。不直接回归数值差。
    • 外部流程： 用反事实输入 x′ 的对应激活替换原激活，再比较两次输出。层分成四块，一次修补一块；块内激活取平均，因此解释器只收一个连续 token。
    • 模板： 问题与输出模板在附录 F。

    输入消融

    • 问题： 删去子集后，答案是否改变，以及新输出是什么。外部答案是两次前向输出的差异。
    • 数据形态： 以 MMLU 多选题为原输入，题后附加指向四选项之一的 hint，并让“会变”和“不变”大致均衡。
    • 作者给出的动机： 作者称设定来自 Chen 等（2025）：hint 可改变预测，但预训练模型不在思维链中报告它。

    解释器配置

    • 特征任务： Llama-3.1-8B 报全参与 LoRA；Llama-3-8B、Llama-3.1-8B-Instruct、Qwen3-8B 报全参；Llama-3.1-70B 只报 LoRA。Qwen 与 70B 需要投影，随机初始化；70B 另有在 FineWeb 上按激活距离预训练的投影。
    • 干预任务： 训练 Qwen3-8B 与 Llama-3.1-8B 去解释 Qwen3-8B。正文称以 Llama-3.1-8B 为目标的结果在 Tables 5 和 6。

  4. 论文做了哪些实验？

    作者称自解释优于基线；Table 1 中 Llama-3.1-8B 的 LM judge 为 76.2±0.9。

    实验设置

    • 模型： 特征描述的目标是 Llama-3.1-8B。解释器为 Llama-3.1-8B（全参与 LoRA）、Llama-3-8B、Llama-3.1-8B-Instruct、Qwen3-8B、Llama-3.1-70B（仅 LoRA）。Table 2 的修补与输入消融以 Qwen3-8B 为目标，解释器为 Qwen3-8B 与 Llama-3.1-8B。
    • 数据： SAE 为 Llama-Scope 的 Llama-3.1-8B-LXR-32x，金标签来自 Neuronpedia。留出 1550 条（每层 50）。完整激活来自 FineWeb；激活差与修补反事实来自 CounterFact。输入消融用 MMLU 加 hint。
    • 基线： 最近邻；SelfIE，未微调 Llama-3.1-8B，五种尺度取优；gold SAE 标签。干预任务另有未训练、只做提示的 Qwen3-8B。
    • 指标： 特征任务为 LM judge（0 到 1，步长 0.25；与人工一致 81.25%，附录 A）和模拟器的 Pearson 相关，表中乘 100。干预任务为 Has-Changed 的 Macro F1、Content Match，以及两部分都对的 Exact Match。
    • 检验： Table 1、2 报 mean±SE，并用 paired t-test；加粗表示与最佳无显著差异（p≥0.05）。纯文本未标出哪些格加粗。§3.2 未写出 LM judge 的模型名；Table 2 的测试条数指向 §G.2、§G.3。

    主结果

    据 Table 1。目标为 Llama-3.1-8B 残差 SAE，分数已乘 100。Qwen3-8B 的 ∆ACT 格抽取后无法与 ± 格式对齐，留空。

    表格较宽，可左右滑动

    解释器LM Judge模拟器ACT∆ACT
    Llama-3.1-8B76.2±0.945.1±0.749.7±0.632.0±0.8
    Llama-3.1-8B LoRA76.0±0.945.6±0.850.6±0.634.0±0.8
    Llama-3.1-8B-Instruct77.1±0.842.7±0.746.9±0.729.9±0.7
    Qwen3-8B70.3±0.940.6±0.821.1±0.7—
    Llama-3.1-70B 随机投影63.9±1.039.5±0.812.6±0.412.2±0.4
    SelfIE Best of 540.1±1.036.4±0.843.3±0.621.0±0.6
    Gold SAE 标签100±0.043.3±0.8未报告未报告
    • 相对基线： 作者称 Llama-3.1-8B 解释自己时，每类特征、每个指标都超过最近邻与 SelfIE；模拟器分数还高于 gold 标签，作者归因于标签噪声（§A.3）。gold 的 LM judge 为 100，是与金标签自身比较。
    • 与他模： 作者称基座和 Llama-3-8B 稳定高出 Instruct 数分，并高于 Qwen3-8B 与 70B。表中 Instruct 的 LM judge 高于基座自解释，与前半句不一致；模拟器、ACT、∆ACT 与该概括同向。
    • 未列入上表的行： Llama-3-8B 为 77.0±0.9、44.6±0.7、49.3±0.6、32.4±0.7；最近邻为 58.5±1.0、33.7±0.8、38.9±0.7、18.5±0.6。随机投影 70B 的 ACT 低于表中 SelfIE。

    样本效率

    • 测了什么： Figure 5 比较每层样本数与解释质量。横轴为每层样本（对数刻度，标到 10^2–10^5）；四幅图为留出 SAE 的 LM judge、模拟器，以及完整激活、激活差。图例为 SelfIE（Best of 5）、Llama-3.1-8B、Qwen3-8B、最近邻。
    • 低数据点： 每层 1024 条，即全部训练特征的 0.8% 时，Llama 达到自身最终表现的 71%、80%、89%、81%（留出 SAE 两项，以及 ACT、∆ACT 的模拟器分数）。Qwen 为 35%、24%、46%、66%；最近邻为 55%、56%、55%、75%。
    • 作者解读： 作者称自解释约比最近邻省一百倍样本，并用 0.8% 数据达到可比结果。图注称低数据区同模型解释更省样本；SelfIE 曲线是五种尺度的上界。

    激活修补与输入消融

    • 测了什么： Table 2 以 Qwen3-8B 为目标，比较其自解释、Llama-3.1-8B 解释器与未训练 Qwen。指标为 Exact Match、Has-Changed Macro F1、Content Match。
    • 结果： 自解释的修补三项为 64.0±0.4、80.2±0.3、71.0±0.4；输入消融为 83.4±1.0、87.0±1.1、90.6±0.8。Llama-3.1-8B 解释同一目标时，修补 Exact Match 为 54.1±0.4，消融为 58.1±1.3。未训练 Qwen 分别为 5.02±0.2 与 8.9±1.5。
    • 作者解读： 作者称特权访问在这两项任务上成立。未训练 Qwen 把 has-changed 判为 True 仅 8.6%；content match 在未变化答案上为 96.4%，变化答案上为 10.3%。作者称这与“预训练模型不报告 hint”一致，因而显式微调是引出决策规则解释所需要的。

    其他消融与分析

    • 投影初始化（Table 1，Llama-3.1-70B LoRA）：随机投影 63.9±1.0、39.5±0.8、12.6±0.4、12.2±0.4；预训练投影 74.1±0.9、45.2±0.7、33.8±0.7、20.6±0.6。作者称后者在 SAE 解释上好 14%，真实激活好 2.7 倍，激活差好 1.7 倍。其 SAE 模拟器 45.2±0.7 不低于自解释的 45.1±0.7。
    • 未训练 Qwen 的 has-changed=True 为 8.6%；变化与未变化答案的 content match 为 10.3% 与 96.4%（§5.2）。
    • 作者称 §C.2 用激活相似度对解释性能作图，并认为二者相关；正文未给出该图读数。
    • 作者称早期实验中，非残差组件上的特征难以被复现（§2.2），未给定量结果。

  5. 有什么可以进一步探索的点？

    作者将容量、目标复杂度与任务难度对特权访问的影响留作后续问题。

    作者指出的局限与后续方向

    • 因素尚未量化： §7 写明，解释器容量、目标模型复杂度、任务难度等如何影响特权访问的出现或表现，仍是未来的重要问题。
    • 监督可推广： §7 提出，自一致性目标也可用于描述推断出的用户特质、对抗触发，或概括有影响力的训练样本。
    • 反向使用： §7 提出也可反向微调，使行为匹配生成的解释；作者认为这或可不依赖大规模偏好数据或强化学习。

    实验覆盖范围

    • 特征描述： §3.1 与 Table 1 的目标是 Llama-3.1-8B；解释器为 Llama-3.1-8B（全参与 LoRA）、Llama-3-8B、Llama-3.1-8B-Instruct、Qwen3-8B、Llama-3.1-70B（仅 LoRA，含随机与预训练投影）。
    • 三种表示： §3.2 评测留出 SAE 1550 条（每层 50）、FineWeb 上的完整残差激活、CounterFact 上的激活差；指标为 LM judge 与模拟器分数，并做 paired t-test。
    • 干预任务： §5 与 Table 2 以 Qwen3-8B 为目标，解释器为微调后的 Qwen3-8B、Llama-3.1-8B 和未训练 Qwen3-8B；数据来自 CounterFact 与 MMLU。
    • 样本曲线： §4 与 Figure 5 改变每层训练条数；文中低数据点为每层 1024 条，即训练特征的 0.8%。
    • 正文另指向的实验： Gemma 2 作为目标（§C.1），Llama-3.1-8B 作为修补与消融目标（Tables 5、6），以及 §D.2 的输入成分消融。§3.2 写出 LM judge 与人工一致率 81.25%（附录 A），该节未写出评审模型名。

  6. 总结一下论文的主要内容

    微调解释器复现三类可解释性答案；作者称自解释通常更准且更省样本。

    作者用外部可解释性流程监督解释器，让它说出一个固定模型的内部计算，并比较自己解释自己与别的模型来解释。

    • 问题： 口头解释可能与真实计算脱节。作者要检验特权访问：解释自身内部计算的模型，能否比其他模型更准。
    • 做法： 目标模型不更新。三类监督来自自动特征描述、激活修补和输入消融。方向以连续 token 进入嵌入层；维数不同则按层加线性投影。
    • 特征： 目标为 Llama-3.1-8B 时，自解释在留出 SAE 上的 LM judge 为 76.2±0.9，ACT 模拟器为 49.7±0.6；Qwen3-8B 解释同一目标的 ACT 为 21.1±0.7（Table 1）。Instruct 的 LM judge 为 77.1±0.8，高于基座自解释。
    • 干预： 目标为 Qwen3-8B 时，自解释的修补与输入消融 Exact Match 为 64.0±0.4 和 83.4±1.0；未训练 Qwen 为 5.02±0.2 和 8.9±1.5（Table 2）。
    • 作者结论： 作者认为少量微调即可泛化，且自解释更省样本：每层 1024 条（训练特征的 0.8%）时，达到自身最终表现的 71%、80%、89%、81%。作者认为把解释与内部流程对齐，是扩展可解释性的一条途径；容量、复杂度与任务难度的影响仍待量化。
阅读原文arxiv.org