Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2511.08579· Belinda Z. Li, Zifan Carl Guo, Vincent Huang, Jacob Steinhardt, Jacob Andreas·Indexed by this site · Originally publishedSelectedAttention54

Training language models to explain their own internal computations

Training Language Models to Explain Their Own Computations

Quick read

Interpretability

Based on 论文 PDF （AI 生成）; refer to the original

微调解释器复现可解释性流程；作者称自解释在三类任务上多高于他模。

Questions
提示模型解释决策时，口头说明可能与内部计算脱节。作者要检验：能否用可解释性流程作监督，训练模型描述自身特征、激活干预和输入影响，且自解释是否比他模更准。
Methods
固定目标模型，只微调解释器。监督来自自动特征描述、激活修补和输入消融；把内部方向作为连续token插入解释器嵌入层，隐藏维不同则按层学线性投影。
Experiments and results
留出SAE上，Llama-3.1-8B自解释的LM judge为76.2±0.9。Qwen3-8B自解释的修补、消融精确匹配为64.0±0.4、83.4±1.0，高于他模与未训练版。作者称0.8%数据时更省样本。
Limitations and future work
作者在§7把解释器容量、目标复杂度、任务难度对特权访问的影响列为后续问题，并提议把自一致性目标推广到其他计算描述或反向对齐。主文定量结果写的是Llama-3.1-8B的特征描述，以及Qwen3-8B上的修补与输入消融。
Experimental setupLlama-3.1-8B、Qwen3-8B et al. · Llama-Scope Llama-3.1-8B-LXR-32x、Neuronpedia et al. · LM judge score、simulator score et al.
Evaluated models
Llama-3.1-8BQwen3-8BGemma 2Llama-3-8BLlama-3.1-8B-InstructLlama-3.1-70B
Benchmarks
Llama-Scope Llama-3.1-8B-LXR-32xNeuronpediaFineWebCounterFactMMLU
Metrics
LM judge scoresimulator scoreHas-Changed F1Content MatchExact Match
AI summaryand selection rationaleThe paper proposes and tests the "privileged access hypothesis": when a fine-tuned interpreter model describes the target model's internal computations, the model explaining itself outperforms other models serving as interpreters, even if the latter are larger or instruction-tuned. The authors train models to describe internal features, the causal structure of internal activations, and the influence of key input tokens in natural language, using outputs from three interpretability methods—automated interpretation, activation patching, and input ablation—as supervision, and generalize to new features with only tens of thousands of examples. Self-explanation is about one hundred times more sample-efficient than the nearest-neighbor baseline, achieving comparable results with only 0.8% of the training data; non-fine-tuned models rarely report the influence of prompt tokens on outputs in input ablation tasks.

The paper proposes and tests the "privileged access hypothesis": when a fine-tuned interpreter model describes the target model's internal computations, the model explaining itself outperforms other models serving as interpreters, even if the latter are larger or instruction-tuned. The authors train models to describe internal features, the causal structure of internal activations, and the influence of key input tokens in natural language, using outputs from three interpretability methods—automated interpretation, activation patching, and input ablation—as supervision, and generalize to new features with only tens of thousands of examples. Self-explanation is about one hundred times more sample-efficient than the nearest-neighbor baseline, achieving comparable results with only 0.8% of the training data; non-fine-tuned models rarely report the influence of prompt tokens on outputs in input ablation tasks.

Why it was selected论文以可解释性方法的输出作监督微调解释器，发现模型解释自身内部计算优于解释其他模型，数据效率也更高。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者检验模型能否经微调忠实描述自身计算，以及自解释是否更准。

    语言模型能否学会忠实描述自身内部计算，且自解释是否比其他模型更准。

    • 场景： 作者称，被提示解释决策时，输出常看似合理，却未必对应产生该决策的计算；归因与机制分析显示，口头解释有时系统性地对不上内部因素。
    • 现有不足： 作者称零样本自我解释依赖超参数调节；自动特征描述与电路发现计算开销大，且难扩展到新模型与新任务。只描述输出分布，还不是描述内部表示与机制。
    • 假设： 特权访问假设（Privileged Access Hypothesis）：被训练去解释自身内部计算的模型，可以比其他被训练来解释它的模型更准确，即便后者更大或做过指令微调。
    • 做法： 目标模型固定，只微调解释器。以现有可解释性流程为监督，生成三类说明：特征编码什么、激活修补后输出如何变、删去部分输入后答案如何变。作者所用 self-explaining 较松：解释器输出分布会改变，并非严格自我一致。

  2. What related research exists?

    相关工作涉及思维链忠实性、自动可解释性与内省争论；作者用细粒度监督训练自解释。

    思维链忠实性

    • 不忠实的口头理由： Turpin 等（2023）、Lanham 等（2023）、Barez 等（2025）、Chen 等（2025）讨论思维链或口头解释可以偏离真实决策。Korbak 等（2025）、Baker 等（2025）把思维链用作外部监测。
    • 与本文的衔接： 作者称 hint 消融直接受此启发，改为在模型自己的决策规则上训练。

    机制可解释性

    • 人工与自动流程： 作者称 Gurnee 等（2024）、Wang 等（2023）、Nanda 等（2023）一类人工分析难以扩展（Sharkey 等，2025）。自动特征描述（Hernandez 等，2022；Bills 等，2023；Choi 等，2024；Paulo 等，2025）与电路发现（Conmy 等，2023；Syed 等，2024；Hanna 等，2024；Hsu 等，2025）被引入，但作者称往往很耗计算。
    • 读出与微调： Logit Lens、Patchscopes（Ghandeharioun 等，2024）、SelfIE（Chen 等，2024a）做零样本自我解释；作者称需要较多超参数调节（Kharlapenko 等，2024）。Latent Interpretation Tuning（Pan 等，2024）经由激活回答关于其他模型输入的问题，后续工作扩展了设定（Karvonen 等，2026；Choi 等，2025；Huang 等，2025）。Goel 等（2025）用 LoRA 言语化微调权重差。

    内省与元认知

    • 特权访问之争： Binder 等（2025）、Treutlein 等（2024）、Laine 等（2024）、Comsa 与 Shanahan（2025）、Plunkett 等（2025）、Lindsey（2025）研究模型有无元认知或内省。作者称争论在于：这是对内部的特权访问，还是强预测能力学到的外部相关（Song 等，2025a；2025b；Li 等，2025）。

    基线与数据

    • 对照： 最近邻、SelfIE（未微调 Llama-3.1-8B，在 v、5v、10v、25v、50v 上取优）、Neuronpedia 的 gold SAE 标签。数据为 Llama-Scope SAE、FineWeb、CounterFact、MMLU。

    作者把本文放在这条线上：用机制流程收集更细的监督，训练模型言语化自身计算，并把解释做成带内输出，而不是只靠外部界面。

  3. How does the paper address this problem?

    以可解释性流程为监督，微调解释器复现特征描述、激活修补与输入消融。

    整体上，解释器用外部流程 T 作监督，回答关于固定目标模型 M 的问题 q。作者只微调解释器，不更新目标。

    问题设定

    • 对象： 网络写成输入 x、隐藏表示 h、输出 y。解释要能说明 x 的什么信息进入 h，以及如何影响 y。
    • 三类问题： 层 ℓ 的方向 v 对什么输入激活；改该层某 token 的激活后输出如何变；删去输入子集后答案如何变。
    • 监督： 损失为 LE=−Eq[log pE(E=T(M,q)|q)]，即复现 T 对 q 的答案。解释器与目标都是 Transformer。

    特征描述

    • 外部流程： 激活是方向与残差流的内积。模拟器按描述 E 预测激活，再取 Tfeat(M,v,ℓ)=argmaxE Ex[corrt(av(x,ℓ,t),â(x,t,E))]，使模拟激活与真实激活的相关最大。
    • 标签来源： 模拟器沿 Choi 等（2024），用 Neuronpedia 标签和 FineWeb 样例训练。编码 q 与 E 的提示词在附录 F。
    • 如何送入 v： 把 v 作为连续 token 插入解释器嵌入层。隐藏维不同时，每层一个线性投影，与解释器联合训练。
    • 方向集合： 训练用 Llama-Scope 的 Llama-3.1-8B-LXR-32x，每层残差映到 131K 个 SAE 特征，为残差维的 32 倍。作者称其他组件上的特征在早期实验中难以复现，故改插嵌入层。

    激活修补

    • 问题： 在输入 x 上替换层 ℓ、位置 t 的激活后，输出是否改变，以及变成什么。不直接回归数值差。
    • 外部流程： 用反事实输入 x′ 的对应激活替换原激活，再比较两次输出。层分成四块，一次修补一块；块内激活取平均，因此解释器只收一个连续 token。
    • 模板： 问题与输出模板在附录 F。

    输入消融

    • 问题： 删去子集后，答案是否改变，以及新输出是什么。外部答案是两次前向输出的差异。
    • 数据形态： 以 MMLU 多选题为原输入，题后附加指向四选项之一的 hint，并让“会变”和“不变”大致均衡。
    • 作者给出的动机： 作者称设定来自 Chen 等（2025）：hint 可改变预测，但预训练模型不在思维链中报告它。

    解释器配置

    • 特征任务： Llama-3.1-8B 报全参与 LoRA；Llama-3-8B、Llama-3.1-8B-Instruct、Qwen3-8B 报全参；Llama-3.1-70B 只报 LoRA。Qwen 与 70B 需要投影，随机初始化；70B 另有在 FineWeb 上按激活距离预训练的投影。
    • 干预任务： 训练 Qwen3-8B 与 Llama-3.1-8B 去解释 Qwen3-8B。正文称以 Llama-3.1-8B 为目标的结果在 Tables 5 和 6。

  4. What experiments did the paper conduct?

    作者称自解释优于基线；Table 1 中 Llama-3.1-8B 的 LM judge 为 76.2±0.9。

    实验设置

    • 模型： 特征描述的目标是 Llama-3.1-8B。解释器为 Llama-3.1-8B（全参与 LoRA）、Llama-3-8B、Llama-3.1-8B-Instruct、Qwen3-8B、Llama-3.1-70B（仅 LoRA）。Table 2 的修补与输入消融以 Qwen3-8B 为目标，解释器为 Qwen3-8B 与 Llama-3.1-8B。
    • 数据： SAE 为 Llama-Scope 的 Llama-3.1-8B-LXR-32x，金标签来自 Neuronpedia。留出 1550 条（每层 50）。完整激活来自 FineWeb；激活差与修补反事实来自 CounterFact。输入消融用 MMLU 加 hint。
    • 基线： 最近邻；SelfIE，未微调 Llama-3.1-8B，五种尺度取优；gold SAE 标签。干预任务另有未训练、只做提示的 Qwen3-8B。
    • 指标： 特征任务为 LM judge（0 到 1，步长 0.25；与人工一致 81.25%，附录 A）和模拟器的 Pearson 相关，表中乘 100。干预任务为 Has-Changed 的 Macro F1、Content Match，以及两部分都对的 Exact Match。
    • 检验： Table 1、2 报 mean±SE，并用 paired t-test；加粗表示与最佳无显著差异（p≥0.05）。纯文本未标出哪些格加粗。§3.2 未写出 LM judge 的模型名；Table 2 的测试条数指向 §G.2、§G.3。

    主结果

    据 Table 1。目标为 Llama-3.1-8B 残差 SAE，分数已乘 100。Qwen3-8B 的 ∆ACT 格抽取后无法与 ± 格式对齐，留空。

    Swipe horizontally to read the table

    解释器LM Judge模拟器ACT∆ACT
    Llama-3.1-8B76.2±0.945.1±0.749.7±0.632.0±0.8
    Llama-3.1-8B LoRA76.0±0.945.6±0.850.6±0.634.0±0.8
    Llama-3.1-8B-Instruct77.1±0.842.7±0.746.9±0.729.9±0.7
    Qwen3-8B70.3±0.940.6±0.821.1±0.7—
    Llama-3.1-70B 随机投影63.9±1.039.5±0.812.6±0.412.2±0.4
    SelfIE Best of 540.1±1.036.4±0.843.3±0.621.0±0.6
    Gold SAE 标签100±0.043.3±0.8未报告未报告
    • 相对基线： 作者称 Llama-3.1-8B 解释自己时，每类特征、每个指标都超过最近邻与 SelfIE；模拟器分数还高于 gold 标签，作者归因于标签噪声（§A.3）。gold 的 LM judge 为 100，是与金标签自身比较。
    • 与他模： 作者称基座和 Llama-3-8B 稳定高出 Instruct 数分，并高于 Qwen3-8B 与 70B。表中 Instruct 的 LM judge 高于基座自解释，与前半句不一致；模拟器、ACT、∆ACT 与该概括同向。
    • 未列入上表的行： Llama-3-8B 为 77.0±0.9、44.6±0.7、49.3±0.6、32.4±0.7；最近邻为 58.5±1.0、33.7±0.8、38.9±0.7、18.5±0.6。随机投影 70B 的 ACT 低于表中 SelfIE。

    样本效率

    • 测了什么： Figure 5 比较每层样本数与解释质量。横轴为每层样本（对数刻度，标到 10^2–10^5）；四幅图为留出 SAE 的 LM judge、模拟器，以及完整激活、激活差。图例为 SelfIE（Best of 5）、Llama-3.1-8B、Qwen3-8B、最近邻。
    • 低数据点： 每层 1024 条，即全部训练特征的 0.8% 时，Llama 达到自身最终表现的 71%、80%、89%、81%（留出 SAE 两项，以及 ACT、∆ACT 的模拟器分数）。Qwen 为 35%、24%、46%、66%；最近邻为 55%、56%、55%、75%。
    • 作者解读： 作者称自解释约比最近邻省一百倍样本，并用 0.8% 数据达到可比结果。图注称低数据区同模型解释更省样本；SelfIE 曲线是五种尺度的上界。

    激活修补与输入消融

    • 测了什么： Table 2 以 Qwen3-8B 为目标，比较其自解释、Llama-3.1-8B 解释器与未训练 Qwen。指标为 Exact Match、Has-Changed Macro F1、Content Match。
    • 结果： 自解释的修补三项为 64.0±0.4、80.2±0.3、71.0±0.4；输入消融为 83.4±1.0、87.0±1.1、90.6±0.8。Llama-3.1-8B 解释同一目标时，修补 Exact Match 为 54.1±0.4，消融为 58.1±1.3。未训练 Qwen 分别为 5.02±0.2 与 8.9±1.5。
    • 作者解读： 作者称特权访问在这两项任务上成立。未训练 Qwen 把 has-changed 判为 True 仅 8.6%；content match 在未变化答案上为 96.4%，变化答案上为 10.3%。作者称这与“预训练模型不报告 hint”一致，因而显式微调是引出决策规则解释所需要的。

    其他消融与分析

    • 投影初始化（Table 1，Llama-3.1-70B LoRA）：随机投影 63.9±1.0、39.5±0.8、12.6±0.4、12.2±0.4；预训练投影 74.1±0.9、45.2±0.7、33.8±0.7、20.6±0.6。作者称后者在 SAE 解释上好 14%，真实激活好 2.7 倍，激活差好 1.7 倍。其 SAE 模拟器 45.2±0.7 不低于自解释的 45.1±0.7。
    • 未训练 Qwen 的 has-changed=True 为 8.6%；变化与未变化答案的 content match 为 10.3% 与 96.4%（§5.2）。
    • 作者称 §C.2 用激活相似度对解释性能作图，并认为二者相关；正文未给出该图读数。
    • 作者称早期实验中，非残差组件上的特征难以被复现（§2.2），未给定量结果。

  5. What are some points that can be further explored?

    作者将容量、目标复杂度与任务难度对特权访问的影响留作后续问题。

    作者指出的局限与后续方向

    • 因素尚未量化： §7 写明，解释器容量、目标模型复杂度、任务难度等如何影响特权访问的出现或表现，仍是未来的重要问题。
    • 监督可推广： §7 提出，自一致性目标也可用于描述推断出的用户特质、对抗触发，或概括有影响力的训练样本。
    • 反向使用： §7 提出也可反向微调，使行为匹配生成的解释；作者认为这或可不依赖大规模偏好数据或强化学习。

    实验覆盖范围

    • 特征描述： §3.1 与 Table 1 的目标是 Llama-3.1-8B；解释器为 Llama-3.1-8B（全参与 LoRA）、Llama-3-8B、Llama-3.1-8B-Instruct、Qwen3-8B、Llama-3.1-70B（仅 LoRA，含随机与预训练投影）。
    • 三种表示： §3.2 评测留出 SAE 1550 条（每层 50）、FineWeb 上的完整残差激活、CounterFact 上的激活差；指标为 LM judge 与模拟器分数，并做 paired t-test。
    • 干预任务： §5 与 Table 2 以 Qwen3-8B 为目标，解释器为微调后的 Qwen3-8B、Llama-3.1-8B 和未训练 Qwen3-8B；数据来自 CounterFact 与 MMLU。
    • 样本曲线： §4 与 Figure 5 改变每层训练条数；文中低数据点为每层 1024 条，即训练特征的 0.8%。
    • 正文另指向的实验： Gemma 2 作为目标（§C.1），Llama-3.1-8B 作为修补与消融目标（Tables 5、6），以及 §D.2 的输入成分消融。§3.2 写出 LM judge 与人工一致率 81.25%（附录 A），该节未写出评审模型名。

  6. Summarize the main content of the paper

    微调解释器复现三类可解释性答案；作者称自解释通常更准且更省样本。

    作者用外部可解释性流程监督解释器，让它说出一个固定模型的内部计算，并比较自己解释自己与别的模型来解释。

    • 问题： 口头解释可能与真实计算脱节。作者要检验特权访问：解释自身内部计算的模型，能否比其他模型更准。
    • 做法： 目标模型不更新。三类监督来自自动特征描述、激活修补和输入消融。方向以连续 token 进入嵌入层；维数不同则按层加线性投影。
    • 特征： 目标为 Llama-3.1-8B 时，自解释在留出 SAE 上的 LM judge 为 76.2±0.9，ACT 模拟器为 49.7±0.6；Qwen3-8B 解释同一目标的 ACT 为 21.1±0.7（Table 1）。Instruct 的 LM judge 为 77.1±0.8，高于基座自解释。
    • 干预： 目标为 Qwen3-8B 时，自解释的修补与输入消融 Exact Match 为 64.0±0.4 和 83.4±1.0；未训练 Qwen 为 5.02±0.2 和 8.9±1.5（Table 2）。
    • 作者结论： 作者认为少量微调即可泛化，且自解释更省样本：每层 1024 条（训练特征的 0.8%）时，达到自身最终表现的 71%、80%、89%、81%。作者认为把解释与内部流程对齐，是扩展可解释性的一条途径；容量、复杂度与任务难度的影响仍待量化。
Read originalarxiv.org