泛化还是幻觉？理解 Transformer 中的越上下文推理

微调注入新事实后，泛化与幻觉是否来自同一机制。

• 场景：作者称，模型可在微调中学会新事实，并在测试时推出训练文本没写的推论；另一些工作则发现，注入新事实后容易给出事实错误的回答。二者为何并存，作者认为并不清楚。
• 已有缺口：Feng et al. [2024] 看到若干主体同时出现在两件事里时，模型会把这两件事关联起来，并做了经验上的机制分析。作者称，这还缺少训练动态上的理论，也未把无因果关联造成的错误推论放进同一框架。
• 核心判断：作者认为两者都是 out-of-context reasoning（OCR，也称 ripple effects）：靠概念关联推出未直接训练的推论。关联有因果时表现为泛化，没有因果时表现为幻觉。
• 本文内容：在五个 LLM 上用因果关联和虚构关联检验该判断；把 OCR 写成符号事实回忆；比较单层单头、仅注意力模型的因子化与非因子化参数化；用梯度下降对合并 output-value 矩阵的隐式偏置解释差别。

作者在第 1.1 节把相关工作分成 OCR、transformer 训练动态和隐式偏置。

• 情境外推理：Krasheninnikov et al. [2023]、Berglund et al. [2023a]、Allen-Zhu and Li [2023] 分别从情境外元学习、情境意识和知识操作讨论 OCR。论文称，reversal curse（Berglund et al. [2023b]）和多跳 in-weight 推理（Yang et al. [2024]，Biran et al. [2024]）上报告了负面结果。Feng et al. [2024] 报告多主体同时卷入两件事时模型会关联，并做经验机制分析；Peng et al. [2025] 用两条相关知识的 logits 之间的线性变换衡量泛化或幻觉。Gekhman et al. [2024]、Kang et al. [2024]、Sun et al. [2025] 报告微调新事实时容易幻觉。
• 训练动态：归纳头、事实回忆、reversal curse、思维链和上下文两跳推理已被放在训练动态下分析（Boix-Adsera et al. [2023]，Nichani et al. [2024a]，Zhu et al. [2024]，Wen et al. [2024]，Guo et al. [2025] 等）。Tarzanagh et al. [2023a]、Sheen et al. [2024] 指出 (WK, WQ) 与合并后的 WKQ 优化动态不同。作者称自己进一步看这种差别的泛化后果，对象换成 value 与 output。
• 隐式偏置：Lyu and Li [2019]、Vardi et al. [2022] 等把梯度下降与间隔最大化联系起来。论文称，最接近的是 Tarzanagh et al. [2023a]、Sheen et al. [2024]：梯度下降隐式最小化合并 query-key 权重的核范数。Zhang et al. [2025] 在上下文学习里比较两种参数化的优化轨迹；矩阵分解的隐式偏置来自 Gunasekar et al. [2017]、Arora et al. [2019] 等。作者称自己关注 value/output，并研究该偏置如何影响泛化。

文中的对照是因子化的 (WO, WV) 与合并后的 WOV。LLM 的数据协议沿用 Feng et al. [2024]，符号任务的形式沿用 Nichani et al. [2024b]。作者把本文定位为：理论上分析 transformer 如何学会 Feng et al. 观察到的 OCR；并称无因果关系时也会出现这类幻觉，从而扩展 Peng et al. 的观察。

作者把 OCR 写成符号事实回忆，再比较一层线性注意力的两种参数化。能做 OCR 的是分开的 output 与 value；合并成 WOV 后，表达力可以相同，但梯度流的极限解不同。

符号任务与数据

• 三元组：知识写成 (s, r, a)。关系只有 r1、r2。答案分成事实集 A1={bi} 和推论集 A2={ci}，各 n 个，bi 与 ci 一一对应：若 a*(s, r1)=bi，则 a*(s, r2)=ci。多个主体可以共享同一答案。
• 划分：主体分成 Strain 与 Stest。训练含训练主体的事实和推论，以及测试主体的事实；测试只含测试主体的推论。再按答案分成 n 个等大子集，每组 mtrain 个训练主体、mtest 个测试主体。
• 序列：形式为 [s, r, <EOS>, a*(s, r)]，用前面的 token 预测最后一个。词表是主体、关系、答案和 <EOS>。

两种单层参数化

• 模型：一层线性注意力，理论上隐藏维等于词表大小，d=M。因子化模型为 f_θ(X)=W_O W_V^⊤ X^⊤ X W_KQ x_T，即用分开的输出、value 和已合并的 key-query 预测下一 token。非因子化模型把输出与 value 合成 WOV=WO WV^T。
• 损失：下一 token 概率只在答案集 A 上做 softmax。训练损失是 Dtrain 上的交叉熵，优化写成梯度流；测试损失是 Dtest 上的同一损失。
• 表达力：命题 1 称，dh≥d 时两种参数化可以配出相同的训练损失和测试损失。作者要分开的是优化动态，不是可表示的函数。

固定注意力下的隐式偏置

• 简化：先假定主体和关系得到相同注意力。可训练参数变成 (WO, WV) 或 WOV。给定 (s, r) 时，logit 是答案在主体列与关系列上的权重之和。
• SVM：定理 1 在正则、可分假设下，把交叉熵训练的极限方向连到间隔至少为 1 的 SVM。因子化对应核范数，非因子化对应 Frobenius 范数。作者称这来自梯度下降的隐式偏置。
• 边距：定理 2 要求 n>1。在正则条件下，因子化解对测试样本满足 h_(s,r),a′(W_OV^F)≥min{√(m_train/m_test),1}，即测试边距下界只依赖 mtrain 与 mtest 之比。非因子化解在测试推论上、对 A2 中错误答案的边距为 0。作者称前者有 OCR，后者没有。
• 样本条件：作者称，只要 mtrain>0，因子化边距就大于 0。因此少量同时观察到事实和推论的主体就足以建立关联，不论该关联是否因果。

可训练 key-query

• 记号与初始化：WOV(a, z) 是合并矩阵在答案 a 与 token z 上的元素；WKQ(z) 是 z 对 <EOS> 的权重。假设 2 把所有 WOV(a, z) 初始化为 α>0，WKQ(z) 初始化为 α 乘以 |A|+1 的平方根。
• 非因子化：定理 3 称，若 |A2|>1，非因子化模型在任意时刻的测试损失都不小于 log|A2|，因而大于 0。论证用分块对称：测试时 A2 中各答案概率相同。
• 未纳入的情形：作者称，可训练 WKQ 的因子化模型会出现更高阶的参数交互，该分析留作后续。LLM 实验用的是 AdamW，不是这一节的梯度流。

实验设置

• LLM：Gemma-2-9B、OLMo-7B、Qwen-2-7B、Mistral-7B-v0.3、Llama-3-8B。附录 E 用 Claude-3.5-sonnet 生成部分主题的 5 个例子。
• 合成数据：100 个虚构名字，5 个事实与 5 个推论配对。五种关联为 City–Language、City–Language (CF)、Country–Code、Profession–Color、Sport–Music。前者用真实因果，作者将其视为泛化；后四种为反事实或虚构配对，作者将其视为幻觉。S 分成 5 个子集，训练比例 0.2，每个子集 4 个训练主体。
• 训练与指标：AdamW、全批次、100 个 epoch。学习率在 10^-6、3×10^-6、10^-5、3×10^-5、10^-4、3×10^-4 中扫描，报告测试 rank 最低者。mean-rank 是配对推论在 A1∪A2 中按预测概率的平均排名，Rank 0 为概率最大的 token；越低表示越把该配对推到前面。3 个随机种子，Table 1 括号为标准误。没有 LLM 评审。
• 单层模型：正交的 one-hot embedding（Section 3.2 称 orthogonal embeddings，附录 E 称 one-hot），|S|=80，n=20，m=4，mtrain=1，d=dh=128。交叉熵训练 2×10^4 步，学习率 5×10^-4。对照是同一任务上的非因子化模型。
• PopQA-OCR：附录 D 从 PopQA 取出生地为事实、运动为推论，随机抽 500 个主体，随机配 10 对，训练比例 0.5，3 次运行。作者称训练样本约为合成集的 10 倍，格式为问答，主体是真人名。

主结果

幻觉列的配对是训练指定的虚构关联，不是外部世界知识。mean-rank 低，表示模型把这个配对排得靠前。

表格较宽，可左右滑动

模型	City–Language	City–Language (CF)	Country–Code	Profession–Color	Sport–Music
Gemma-2-9B	0.00 (0.00)	0.19 (0.20)	0.19 (0.07)	1.64 (0.01)	0.56 (0.01)
OLMo-7B	0.07 (0.03)	1.33 (0.49)	0.15 (0.13)	1.84 (0.23)	0.17 (0.01)
Qwen-2-7B	0.13 (0.01)	4.55 (2.33)	3.63 (1.10)	0.82 (0.34)	0.40 (0.08)
Mistral-7B-v0.3	0.00 (0.00)	2.10 (0.01)	1.48 (0.52)	1.15 (0.56)	1.28 (0.13)
Llama-3-8B	0.00 (0.00)	1.18 (0.61)	0.77 (0.10)	0.93 (0.21)	0.63 (0.22)

• 作者解读：作者称因果相关时出现他们所说的强泛化，与 Feng et al. [2024] 一致；无因果时仍倾向学到关联，并称之为双刃剑。每个子集四个训练主体即可，作者据此认为两种表现可能来自同一机制。
• 与预训练的关系：作者认为泛化列更好，可能因为新注入的因果知识与预训练知识一致、更容易学。
• 表内差别：幻觉四列并不都接近 0。OLMo-7B 的 Country–Code 为 0.15，Qwen-2-7B 的 City–Language (CF) 为 4.55（Table 1）。论文未解释模型之间的这一差别。

真实数据 PopQA-OCR

• 测了什么：出生地与运动被随机配对，再按 Section 2 的方式做训练/测试划分，指标仍是 mean-rank。
• 结果：Table 2 为 Gemma-2-9B 0.68（0.27）、OLMo-7B 1.41（0.29）、Qwen-2-7B 3.30（0.62）、Mistral-7B-v0.3 1.36（0.70）、Llama-3-8B 2.29（4.26）。
• 作者解读：作者称真实数据上仍会出现由 OCR 驱动的幻觉。Llama-3-8B 的标准误为 4.26，论文未解释运行之间的离散程度。

单层注意力

• 测了什么：同一符号任务上比较因子化与非因子化，设置见实验设置。两种模型训练损失都到 0。
• 结果：只有因子化模型测试损失到 0；非因子化不能泛化到测试推论（Section 3.2）。Figure 3 只给出损失曲线，正文未列出曲线端点。
• 作者解读：Figure 2 图注称，因子化模型学到使 OCR 成为可能的权重结构，非因子化没有；图中展示的是与预测有关的缩减矩阵，任务是在 (s2, r2, c2) 不在训练集时预测 c2。正文称非因子化的 test-implication 块权重为零，因子化在训练块与测试块上模式相似。

其他消融与分析

• 内在维：正文扫描 dh∈{3, 4, 8, 16, 32, 128}，d=128、mtrain=3；Figure 6 图例另有 64。作者称 dh 小到 4 仍出现 OCR。各 dh 的损失端点正文未给出。
• SVM 数值解：|S|=12，n=3，m=4，mtrain=3。Figure 5 图注称解与 Figure 2 一致；保留奇异值大于 10^-5 的方向后 dh=3，相关行余弦相似度大于 0.9。
• 学习率：附录 E 只报告六个学习率里测试 rank 最低的结果，论文未报告各学习率的 mean-rank。
• 单层重复：论文未报告单层损失曲线的重复次数。LLM 的 Table 1、Table 2 为 3 次运行。

作者指出的局限与后续方向

• 一层理论：Section 5 与 NeurIPS checklist 写明，理论结果只针对一层 transformer，作者认为扩展到多层会有意思。
• 抑制幻觉：Section 5 把“注入新事实时如何防止这类幻觉”列为后续方向。论文没有给出该方法。
• 可训练 WKQ：Section 4.2 称，把定理 3 扩展到可训练 WKQ 的因子化模型会引入更高阶交互，作者将该分析留作未来工作。
• 多类收敛：附录 Remark 2 猜想，多类设定下梯度流也会方向收敛到核范数 SVM 的全局最小，作者把证明留作未来工作。

实验覆盖范围

• LLM：Section 2 微调并报告 Gemma-2-9B、OLMo-7B、Qwen-2-7B、Mistral-7B-v0.3、Llama-3-8B 共 5 个模型。
• 合成协议：五种关联，100 个虚构名字，训练比例 0.2，每子集 4 个训练主体；mean-rank，3 个种子；学习率六个值中只保留测试 rank 最低者（Section 2、附录 E）。论文未报告各学习率下的 mean-rank。
• 真实数据：附录 D 的 PopQA-OCR，500 个主体、10 对随机配对、训练比例 0.5、3 次运行（Table 2）。
• 符号模型：Section 3.2 与附录 C 比较单层单头线性注意力的因子化与非因子化，并给出核范数/Frobenius SVM 的数值解。论文未报告该单层实验的重复次数。
• 优化对象：Section 4 的理论是交叉熵上的梯度流或足够小学习率的梯度下降；附录 E 的 LLM 实验使用 AdamW、全批次、100 个 epoch。

作者把微调新事实后的泛化与幻觉都归到 OCR：模型按概念共现推出训练文本没写的推论，不要求该共现有因果。

• 问题：这两种表现是否同一机制。LLM 实验里，一部分主体同时看到事实和推论，测试主体只看到事实，再问推论。City–Language 用真实因果，其余四种是虚构或反事实配对。
• 符号模型：单层单头线性注意力中，分开的 output、value 与合并后的 WOV 表达力可以相同。作者称梯度流的极限方向分别对应核范数与 Frobenius 范数的间隔最大化，只有核范数解在测试推论上留下非零边距，下界只依赖 mtrain 与 mtest 之比。
• LLM 数字：Table 1 的 City–Language mean-rank 为 0.00（Gemma-2-9B、Mistral-7B-v0.3、Llama-3-8B）、0.07（OLMo-7B）、0.13（Qwen-2-7B）。虚构关联也被学到，但高低不一：OLMo-7B 的 Country–Code 为 0.15，Qwen-2-7B 的 City–Language (CF) 为 4.55。PopQA-OCR 上 Gemma-2-9B 为 0.68，Qwen-2-7B 为 3.30（Table 2）。
• 单层数字：两种参数化的训练损失都到 0；只有因子化模型的测试损失到 0（|S|=80，n=20，mtrain=1）。
• 作者结论：共现本身就足以让模型关联事实与推论，所以注入与因果不符的共现时会幻觉。多层上的理论，以及注入新知识时如何避免这类幻觉，作者留作后续。