预训练中习得的抽取式结构让模型泛化微调事实

预训练模型只在新事实上微调时，为何能答出这些事实与已知知识组成的蕴含，以及这种配合如何在预训练中学到。

• 出现场景：作者将此称为 ripple effects 或 out-of-context reasoning（OCR）。例如只微调某人居住的城市，模型能答出该城所用语言。作者认为，弄清训练中出现的能力与失败模式，有助于构建安全、稳健的系统。
• 现有不足：作者称，对实现 OCR 的机制、以及它们如何在预训练中学到，所知很少。某些蕴含会出现（Berglund et al., 2023a; Krasheninnikov et al., 2023; Treutlein et al., 2024），另一些不会，如 reversal curse（Berglund et al., 2023b; Allen-Zhu & Li, 2023）。
• 核心假设：微调是发送方，把事实编码成权重变化；测试时的前向传播是接收方，须从新权重解出蕴含。作者假设，抽取结构是在遇到模型已经知道的事实的蕴含时学到的。
• 本文做法：提出 extractive structures，把测试时的计算分成存储事实的 informative 组件，以及负责查询和后处理的 upstream、downstream 抽取组件。由此得到数据顺序与权重嫁接两个预测，并在 OLMo-7b 等模型的两跳任务上检查。作者还称，事实可写在早层和晚层，二者支持的泛化不同。

引言与 Related Work 按三条线组织。

电路可解释性

• 电路分解：Cammarata et al.（2020）、Elhage et al.（2021）、Wang et al.（2022）把网络拆成形成计算电路的组件。Vig et al.（2020）、Meng et al.（2022）用因果技术定位组件。
• 梯度归因：Selvaraju et al.（2017）的 Grad-CAM 与 Olah et al.（2018）一类分数近期再次被使用（Kramár et al., 2024; Grosse et al., 2023）。作者称本文将这些工具改用于带权重变化的组件。

事实学习

• 多种设置：预训练（Chang et al., 2024; Kandpal et al., 2023）、微调（Berglund et al., 2023a;b）、合成数据（Allen-Zhu & Li, 2023; Wang et al., 2024）和知识编辑（Cohen et al., 2024; Onoe et al., 2023）都研究过事实学习及其稳健性。
• 机制工具：Qin et al.（2024）用影响函数，Zhang et al.（2024）用逐层消融。Krasheninnikov et al.（2023）对其 OCR 任务提出过与抽取结构相关的机制设想。作者称本文分析更细，并经验验证了具体机制。
• 编辑位置：Meng et al.（2022）把事实定位到一组组件；Hase et al.（2023）认为定位不重要，因为事实可在任意位置编辑。作者在第 5.2 节用层冻结结果对照这两项主张。

多跳推理

• 任务：Zhong et al.（2023）、Balesni et al.（2024）把多跳推理作为需要组合多条事实关联的评测任务。
• 串行回忆：Yang et al.（2024）、Biran et al.（2024）、Wang et al.（2024）在预训练模型和 grokking 设置中发现，模型通过串行回忆中间跳来做多跳推理。作者称本文在这些已训练模型的结果之上，分析学习新事实时的两跳能力。

基线与数据

• 对照：层冻结以完整微调（None）和不微调（All）为基线。权重嫁接以只训反事实事实的 WF'，以及嫁接“直接训练蕴含”所得权重差的 Wcontrol 为对照。
• 数据：合成 FIRST-HOP、SECOND-HOP，以及第 6 节用虚构关系 dax、wug 构造的继续预训练数据。

作者把本文定位为：用抽取结构描述 OCR 中编码与解码的配合，并用数据顺序、权重嫁接检验这些结构是否在遇到已知事实的蕴含时形成。

extractive structures 把 OCR 看成三类组件的配合：微调把事实写入 informative 组件的权重，测试时 upstream 组件查询这些权重，downstream 组件把抽出的信息加工成蕴含（Figure 1）。

问题设定与成功判定

• 事实与蕴含：每条事实或蕴含是提示词 p 与续写 a。OCR 指只在事实集上微调，模型却泛化到其蕴含集。
• 两跳：一条关联从 head 实体 a 到 bridge 实体 b，另一条从 b 到 tail 实体 c。提示 a 时要回忆 c。新事实可以在第一跳或第二跳。
• 两个数据集：FIRST-HOP 的新事实是人名到城市，测试要再用已知的城市—语言关系。SECOND-HOP 的新事实是城市到人名，测试要从已知地标经城市回忆人名（Table 1，附录 D）。
• mean rank：把该蕴含集的全部续写当选项，按给定 p 下的概率降序排列。正确续写的 0-indexed 名次为 rank，越低越好，再对集合取平均。事实集用同一指标检查是否学会。

三类组件与因果分数

组件是某一层、某一 token 位置的一个 MLP 或一个 attention head。聚焦组件 C 时，更早、更晚层的权重折成 Wearly、Wlate（Figure 4）。奖励 R 取续写首 token 的对数概率；各数据集续写的首 token 互不相同。

• Informative：对预测蕴含重要的权重更新。只把该组件换成微调后权重，奖励相对原模型的差为 IC = R[W_C ← W_C′] − R。
• Downstream：输入已含新知识时，组件输出要能提高当前奖励。用新的早期权重得到输入、组件仍用原权重，与原输出对比，得 DC = R[y_C ← f_C(z_C′, W_C)] − R。
• Upstream：自身不必被微调大幅改写，但要正确激活后续的 informative 组件。分数是重要性的差中差：晚层换成新权重后，把该组件输出消融到常数造成的奖励下降，减去原权重下的同样下降。消融常数取数据集均值。
• 计算：作者用一阶近似，使分数可由少量前向和反向传播得到（附录 A、B）。附录 A 把三个线性化分数写成同一量的一阶扰动项，作者认为它们在量级上应当可比。精确上游分数须对每个组件重算晚层，实验因此改用一次反向即可得到的替代量。实体按两个 token 对齐，更长的实体只保留最后两个 token。

预训练中如何形成

• 协调：训练时写入事实的方式，必须在测试时能被抽取组件读出。作者的机制是：若模型已经知道事实，随后遇到其蕴含，它既可以死记蕴含，也可以学习从权重抽出该事实并潜在地生成蕴含。后者给抽取结构提供训练信号。
• 数据顺序预测：若事实全部出现在蕴含之后，抽取结构学不会，此后对新事实的蕴含也不能泛化；事实全部先出现，则结构可能形成。作者认为这不同于把优化看成从模型族里做选择：能否从蕴含学到结构，取决于模型是否已经知道底层事实。
• 继续预训练：用虚构关系模拟预训练中出现新形式的蕴含。城市被随机配到动物；dax 陈述城市，wug 陈述对应动物。先在训练用人名的 dax 事实和 wug 蕴含上继续预训练，再只在留出人名、同一批城市的测试 dax 事实上微调。三种顺序为 Facts first、Impl. first、Joint。每份文档恰好见 8 次；分阶段训练时重置优化器（附录 F）。

权重嫁接

作者预期，事实全部先于蕴含时，前半段学事实，后半段学抽取结构，因此继续预训练中点到终点的权重差携带这些结构。流程是：训事实得 WF；再训蕴含得 WF,Impl F；另训反事实事实得 WF'；嫁接为 Wgraft = WF' + WF,Impl F − WF。对照把“从原权重直接训蕴含”的差嫁到 WF'，得 Wcontrol。作者预期 Wgraft 泛化到反事实蕴含，而不是原蕴含。

实验设置

• 模型：主实验用 OLMo-7b-0424 的 step 477000，即最终退火前的最后一档检查点；作者称退火可能干扰微调。附录 I 另测 Llama-3-8b、Gemma-2-9B、Qwen-2-7B。人名与城市列表由 Claude-3.5-sonnet 生成。
• 数据：FIRST-HOP、SECOND-HOP 各用 20 个虚构人名与 20 个城市—语言或城市—地标配对随机组成。虚构关系有 100 个人名（前 80 个训练、后 20 个测试）和 20 种动物，城市与前面相同；反事实版把 80 个训练名重新随机配到城市和动物。
• 训练：只在答案 token 上计算交叉熵，冻结 embedding 与 unembedding。Adam，动量 (0.9, 0.999)，batch size 8；正文主设置是 8 epoch、学习率 3 × 10^{-6}（附录 C）。附录 H、I 扫描 1e-6、3e-6、1e-5、3e-5，以及 4、8、12、16 epoch，各 5 个随机种子。
• 指标：泛化用 mean rank。抽取分数比较微调权重与预训练权重，并在数据集上平均。Figure 5 只画最后两个实体 token，同一位置各 attention head 的分数相加。分数所用奖励是续写首 token 的对数概率。
• 层冻结：微调时把前 24 层或后 8 层冻在预训练权重（Table 2）。附录 E 改为微调完成后再重置这些层（Table 4）。
• 未写明项：论文未报告 Table 2、Table 3 的随机种子数。作者称 OCR 只在部分学习率出现，因此聚焦那些会出现 OCR 的学习率。

主结果

作者称 Figure 3 中，只在事实上微调时，蕴含的 mean rank 随 epoch 下降；正文未给出曲线端点。下表是 OLMo-7b 微调过程中冻结不同层后的 mean rank（Table 2）。None 为完整微调，All 为不微调，越低越好。

Swipe horizontally to read the table

冻结	FIRST-HOP 事实	FIRST-HOP 蕴含	SECOND-HOP 事实	SECOND-HOP 蕴含
None	0.00	0.00	0.00	1.80
Early（前 24 层）	0.00	6.50	0.00	0.50
Late（后 8 层）	0.00	0.10	0.00	6.60
All	9.20	9.25	9.10	9.50

• 层与跳数：作者称，相对 None，冻结早层主要抬高 FIRST-HOP 蕴含的 rank，SECOND-HOP 蕴含仍低；冻结晚层相反。两种冻结下事实 rank 与 None 相同。
• 作者的解读：事实可以写在多层，但早层使新事实能当第一跳，晚层使它能当第二跳。微调时模型不知道日后用作哪一跳，因此作者预期编码会覆盖早层和晚层。
• 对照知识编辑：作者认为，若要改善泛化，事实应在模型每一处被编辑。这与 Meng et al.（2022）的局部存储主张，以及 Hase et al.（2023）认为定位不影响编辑的主张不同。本实验冻结的是层，没有运行这两篇的编辑算法。

抽取分数与潜在两跳

• 测了什么：两个数据集上都计算三类线性化分数（Figure 5）。作者预期，FIRST-HOP 的 informative 组件对应第一跳回忆，downstream 包含第二跳；SECOND-HOP 的 upstream 包含第一跳，informative 对应第二跳。
• 定位：作者称，FIRST-HOP 的高 informative 分数在 head 实体 token 的早—中层 MLP，高 downstream 分数在末 token 的晚层 MLP 和 attention head。SECOND-HOP 的高 upstream 分数在 head 实体 token 的早/中层 MLP，高 informative 分数在末 token 的晚层 MLP。Figure 5 图注却把第二跳写成末 token 的 early-middle MLP，与正文的 late layers 不一致。
• 与先前分析：作者称这与 Yang et al.（2024）、Biran et al.（2024）的“早—中层做第一跳、晚层末 token 做第二跳”大体一致，但有两处不同：两个人名 token 都存事实，不只最后一个；晚层末 token 的 attention head 也存事实，不只 MLP。

数据顺序与权重嫁接

• 数据顺序：Figure 6 在三种继续预训练顺序之后，再微调留出的测试事实。作者称 Joint 与 Facts-first 的 OCR 多于 Impl-first，尽管三种顺序都学会了训练事实和蕴含。Impl-first 的蕴含 rank 在微调中仍下降，作者认为这提示另有未知机制。附录 I 称另外三个模型有同样的定性模式，但更弱、对超参数更敏感；部分设置下 Facts-first 与 Impl-first 的 OCR 相近，作者再次指向该未知机制。正文未给出这些曲线的端点数字。
• 嫁接：Table 3 中，反事实蕴含的 mean rank 为 WF' 9.13、Wgraft 1.13、Wcontrol 8.38。原蕴含上 Wgraft 为 3.30、Wcontrol 为 0.43、WF' 为 8.55。反事实事实上三者为 0.00、0.10、0.32。作者预期 Wcontrol 只转移原蕴含；表中它的原蕴含 rank 低、反事实蕴含 rank 高。作者认为嫁接的权重差含有能引出反事实蕴含的抽取结构，同时在蕴含上训练时也会部分死记。
• 权重差定位：附录 G 把嫁接权重差的 informative 分数，与另一次微调的 downstream 分数做相关，以检查被改动的组件是否就是 downstream 抽取结构。MLP 的 r² 为 0.10，attention head 为 0.07。作者称正相关通过了统计检验，但 Pearson 相关小，两指标不完全对齐。论文未给出检验名称或 p 值。

其他消融与分析

• 微调后再冻结（Table 4）：Early (post) 的 FIRST-HOP 事实/蕴含为 5.10 / 8.40，SECOND-HOP 为 0.95 / 1.85；Late (post) 为 0.00 / 0.00 与 0.10 / 6.30。作者认为标准微调把事实写在多层，但更多在早—中层。
• 学习率：附录 H 称 1e-5 与 3e-6 下训练 rank 看起来都收敛，但 1e-5 的测试 rank 更高。数据顺序和嫁接也随学习率、epoch 变化；作者称多数设置仍有预期的定性模式。
• 其他模型：附录 I 称三个模型在某些学习率上能做 FIRST-HOP OCR；SECOND-HOP 更差，但各种子的 mean rank 仍下降。合适超参数下 Wgraft 能预测反事实蕴含，同时也会转移原蕴含。作者认为这些模型更多在死记。正文未给出可与表列对齐的具体 rank。
• 例外：完整微调时 SECOND-HOP 蕴含 rank 为 1.80，不是 0.00（Table 2）。Impl-first 仍有少量 OCR。嫁接同时转移部分原蕴含。附录 G 的 r² 为 0.10 与 0.07。

作者指出的局限与后续方向

• 另一种机制：第 6.1 节的实验提示 OCR 可能还有别的机制。作者在 Discussion 中称，其性质仍不清楚（Sec. 7）。
• 超参数与模型：作者称尚未充分刻画微调过程如何依赖各种超参数和预训练模型，并指向附录 H、I（Sec. 7）。
• 泛化理论：作者希望抽取结构能导向一种刻画优化动态性的泛化理论（Sec. 7）。
• 任务范围：作者称本文聚焦两跳推理，抽取结构或可更广泛地用于理解和概念化 out-of-context generalization（Sec. 7）。
• 模型差异：附录 I 称，分析哪些模型性质使 OCR 更弱会是有意思的问题。论文没有单独的 Limitations 小节。

实验覆盖范围

• 模型：抽取分数与层冻结的主结果来自 OLMo-7b-0424 step 477000。数据顺序与权重嫁接还在 Llama-3-8b、Gemma-2-9B、Qwen-2-7B 上报告（Sec. 5、6、I）。
• 任务：合成两跳 FIRST-HOP、SECOND-HOP，以及虚构 dax/wug 关系；继续预训练用同一批城市，测试用人名留出（Sec. 3、6、D）。
• 干预与分数：微调中和微调后冻结前 24 层或后 8 层（Table 2、Table 4）。抽取分数是线性化近似，上游用替代量，消融基线为数据集均值（Sec. 4、B）。
• 训练与重复：主配方为 8 epoch、学习率 3 × 10^{-6}、batch size 8（附录 C）。附录扫描 4 个学习率、4 个 epoch、5 个种子。论文未报告 Table 2 与 Table 3 的重复次数。
• 作者写出的依赖：OCR、数据顺序和嫁接随学习率与 epoch 变化（附录 H、I）。论文讨论了 Meng et al.（2022）和 Hase et al.（2023），实验本身没有运行他们的编辑算法。

预训练模型对微调事实的蕴含泛化，被作者描述成权重里的抽取结构：一部分组件存下新事实，另一些组件在测试时把它查出并换成蕴含。

• 问题：只教人名—城市或城市—人名时，模型有时能答出再跳一步后的语言或地标问题。作者要解释编码与解码如何配合，以及这种配合从何学来。
• 框架：informative 组件以权重变化保存事实；upstream 组件用输入去查询；downstream 组件把查出的桥接实体加工成最终续写。定位用三类因果分数的线性化近似。
• 层的分工：在 OLMo-7b 上，完整微调后 FIRST-HOP 蕴含 mean rank 为 0.00、SECOND-HOP 为 1.80（Table 2）。冻结前 24 层后二者为 6.50 与 0.50；冻结后 8 层后为 0.10 与 6.60。事实 rank 仍为 0.00。作者认为早层支持第一跳更新，晚层支持第二跳更新。
• 顺序与嫁接：作者称事实先于蕴含或与蕴含混排时，继续预训练后的 OCR 多于蕴含全部先出现的顺序；后者仍有少量泛化，作者认为另有未知机制。把中后段权重差嫁到反事实事实上，反事实蕴含 mean rank 从 9.13 到 1.13，对照为 8.38（Table 3）。嫁接也把原蕴含 rank 带到 3.30，作者认为同时存在死记。
• 作者的结论：因为不同层支持不同跳，作者认为知识编辑应在多处写入事实。若抽取结构是在遇到已知事实的蕴含时形成，则能否学到 OCR 取决于数据顺序和当时的内部状态。作者同时称，另一种机制尚未辨明，且结果依赖超参数和预训练模型。