混合机制：语言模型如何在上下文中检索绑定的实体

语言模型在实体组变多时，如何绑定并取回被查询的实体。

• 场景：作者认为上下文推理依赖把相关实体绑在一起再查询，例如把人名绑到食物后回答谁喜欢该食物。作者同时指出长上下文推理仍然困难（Liu et al., 2024; Levy et al., 2024）。
• 通行做法的缺口：既有解释是位置机制：用查询实体确定所在子句的位置，再取出答案。作者称这只在短列表上证据较强；组数增加后中间位置变噪、不可靠。Feng & Steinhardt (2024)、Prakash et al. (2025) 只分析组内最后 token，且 n 为 2 或 3；Prakash et al. (2024)、Dai et al. (2024) 在 n=7 上找到位置机制，但仅用它预测行为时因果忠实度低。
• 作者的假设：位置信号不足时，模型还用词汇机制（用绑定对端取回另一实体）和自反机制（用指向自身的直接指针）。三者如何混合，取决于查询实体和目标实体的位置。
• 本文做的分析：在九个模型、十个绑定任务上用互换干预拆开三种信号，并构造混合因果模型，估计下一 token 分布。

连接主义与语言模型中的绑定

• Touretzky & Minton (1985)、Fodor & Pylyshyn (1988)、Smolensky (1990)：任意实体绑定曾是连接主义认知模型的核心问题。论文只把它当作问题来源，未与本文做方法对比。
• Davies et al. (2023)、Prakash et al. (2024; 2025)、Feng & Steinhardt (2024)、Feng et al. (2024)、Wu et al. (2025)：把语言模型中的绑定与检索作为机制可解释性对象，并用互换干预定位因果相关的隐藏状态。

lookback 与信息共置

• Feng & Steinhardt (2024)、Feng et al. (2024)、Dai et al. (2024)、Prakash et al. (2024)、Wu et al. (2025)：把一组实体的信息汇入该组末位实体 token 的残差流，再用注意力按另一实体取回。Prakash et al. (2025) 称这一模式为 lookback。
• 作者把本文定位为研究 lookback 里把下一 token 预测带入末 token 残差流的 pointer；实体 token 与查询 token 中的 address 放在 §C。

位置机制（论文点名的不足）

• Dai et al. (2024)、Prakash et al. (2024; 2025)：用查询实体所在组的位置索引取回目标。作者称 Prakash et al. (2025) 只在窄设置下评估；Prakash et al. (2024) 与 Dai et al. (2024) 仅用位置机制时因果忠实度低。
• Feng & Steinhardt (2024)、Prakash et al. (2025) 限于 tentity=m 和 n∈{2,3}。后两篇在 n=7 上报告位置机制，但忠实度仍低。

长上下文中的位置偏差与因果工具

• Liu et al. (2024) 的 lost-in-the-middle，Levy et al. (2024) 的更长输入推理，以及 Ebbinghaus (1913)、Miller & Campbell (1959)、Janik (2024) 的首因/近因。作者把中间位置变噪与这些现象并提，§5 认为词汇变弱、位置更噪可能是 lost-in-the-middle 的一种机制解释。

• Geiger et al. (2021; 2025a;b) 的因果抽象，Pîslar et al. (2025) 把多个因果模型合成随输入调制的模型；Geva et al. (2023) 的 attention knockout 用于追踪信号流向（§C、§F）。

• 基线与数据：因果模型对照包括 prevailing view（位置索引上的 one-hot）、均匀分布，以及用模型真实位置 logit 替换位置项的 oracle。主拟合在 gemma-2-2b-it 的 music（n=20）；行为实验用 Table 1 的十个绑定任务。

作者称本文说明位置机制不能推广到更长实体列表，模型实际混合三种机制来驱动行为。

作者把检索写成位置、词汇、自反三个因果模型的混合，用互换干预拆开信号，再拟合因果模型 M。

任务与干预

• 模板任务：互斥角色集合 E1…Em、绑定矩阵 G、模板 T(G, q, t)。qgroup 是含查询与目标的组索引；tentity 与 qentity 是二者在组内的位置，且不相等。实验中 G 的实体互不相同。
• 十个任务：Table 1 列出 Filling Liquids、People and Objects、Programming Dictionary、Music、Biology Experiment、Chemistry Experiment、Transportation、Sports Events、Space Observations、Boxes。实体集合大小为 23 到 80。boxes 为 m=2，其余九个为 m=3；m=3 时两个查询实体是组内除目标外的两个。
• 互换干预：在成对的原文与反事实输入上运行模型，把原文选定组件换成反事实的对应激活。主干预打在检索开始前一层 ℓ 的末 token 全残差流。ℓ 因模型而异，同一模型跨任务一致（§D.2）。

三种机制

• 位置 P：中间变量存 qgroup，输出机制从该索引的组取出目标。Figure 1 中无干预时 P=4 取出 tea；打补丁后 P←2，取出第二组的 jam。
• 词汇 L：存查询实体 q，再从含 q 的组取出目标。Figure 1 中 L 从 Tim 换成 Ann 后，取出 Ann 所在组的 ale。
• 自反 R：存目标实体 t，仅当 t 仍出现在上下文中才取出它。作者认为自回归注意力只能从右向左看；当 tentity < qentity 时，不能把目标拷回查询左侧，词汇机制不可用，因而要先取出绝对指针。指针打进不含该 token 的上下文时，机制失败。

反事实如何拆信号

• 配对使对 P、L、R 的互换干预分别预测不同 token，且都不同于原文答案，从而也不同于“无干预”（§3.2）。iP、iL、iR 在 1 到 n 上自由变化。
• 位置干预取出反事实查询所在组索引上的原文实体；词汇干预取出原文中与反事实查询实体绑定的实体；自反干预跟随反事实建立的直接指针，若该 token 在原文中则输出它。
• 剩余混淆：该设计里自反预测的正是反事实答案，区分不了指针和下一 token 本身。§3.4 把反事实答案改成原文中不出现的实体：对机制输出打补丁会直接换成该实体；对指针 R 打补丁则无法解引用。

因果模型 M

式 (2) 对每个组索引 i 的目标实体给 logit：

Y_i := w_pos· N(i ∣ i_P, σ(i_P)²) + w_lex[i_L]· 1{i=i_L} + w_ref[i_R]· 1{i=i_R}

σ(i_P)=α(i_P/n)²+β(i_P/n)+γ

• 词汇、自反是 one-hot，只抬高 iL、iR 组的目标；位置项是以 iP 为中心、由单一权重 wpos 缩放的高斯，标准差是 iP 的二次函数。wlex、wref 按各自索引分别学习。学习参数为 wpos、wlex、wref、α、β、γ。
• 数据：对每个 1≤iP,iL,iR≤n 做 150 次互换干预，先对组索引 softmax 再取平均。n=20 时得到 n³=8,000 个分布；70% 学习参数，其余均分给验证与测试。损失为对称的 JSD；JSS 定义为 1−JSD，用 log2，取值在 [0,1]。
• §E 的优化：Adam（β1=0.9，β2=0.999），学习率 0.05，最多 2,000 epoch，batch 512，200 epoch 无改进则早停。

层定位与信号追踪

• 作者先扫末 token 各层，取检索开始前的最后一层 ℓ：在该层打补丁不会直接拷贝已检索 token；ℓ+1、ℓ+2 则转为检索（§D.2，Figure 12）。
• §C 另在实体 token 上做 PosSwap、LexSwap、RefSwap（Table 2），并用 attention knockout 看信号是否经查询 token 到达末位。词汇信号可从查询 token 本地产生；自反信号要从实体 token 再取一次，所以出现得更早。

实验设置

• 模型：gemma-2-2b/9b/27b-it、qwen2.5-3b/7b/32b/72b-it、llama-3.1-8b/70b-it，共九个。图中 Qwen/Llama 标题写作 Instruct 名，正文用上述 -it 名。
• 任务：九个模型评 boxes 与 music；gemma-2-2b-it 与 qwen2.5-7b-it 评 Table 1 全部十个任务。主图多为 n=20；另有 n∈[3,20]。m=2 或 3。
• 干预层 ℓ（Figure 10 标题）：gemma-2-2b/9b/27b-it 为 18/28/25；Qwen2.5-3B/7B/32B/72B-Instruct 为 31/22/51/62；Llama-3.1-8B/70B-Instruct 为 16/35。gemma-2-2b-it 在层 16–18 积累绑定信息（Figure 2）。
• 指标：干预后预测与三种机制的输出比较，不能归入任一机制的记为 mixed；另有 no effect。分布拟合用 JSS 与 KL。实体 token 干预用 IIA；knockout 用准确率。论文未说明主图如何从分布中取单一预测标签。无 LLM 评审。
• 因果模型样本：每个 (iP,iL,iR) 150 次，n=20 得 8,000 个平均分布，70% 训练。Figure 5 的置信区间均 < 0.02，M 与 oracle < 0.002。主 patch-effect 图的配对样本量论文未报告。

主结果

下表为 Figure 5 的 JSS（gemma-2-2b-it，music，n=20）。摘要写 95% agreement，正文称 M 的平均 JSS 为 0.95。作者称位置项改为 one-hot 后降至 0.85；prevailing view 平均为 0.44，并称低于均匀基线 0.5。表中均匀行随 tentity 变化，不以 0.5 代替各列。

表格较宽，可左右滑动

变体	te=1	te=2	te=3
M	0.95	0.96	0.94
位置 one-hot	0.42	0.46	0.45
M 换 oracle 位置项	0.96	0.98	0.96
M 的位置项改 one-hot	0.86	0.85	0.85
去掉位置项	0.67	0.68	0.67
去掉词汇项	0.94	0.91	0.75
去掉自反项	0.69	0.87	0.92
均匀分布	0.44	0.57	0.49

• 作者称 M 只略低于 oracle，而仅位置 one-hot 远不能拟合；KL（Table 3）趋势相同。
• 消融与 Figure 2 的分工一致：tentity=1 时去掉词汇项几乎无影响，tentity=3 时去掉自反项几乎无影响。作者称置信区间见上。
• 作者称九个模型在 boxes、music 上模式一致（Figures 10–11）：首尾更靠位置，中间更靠词汇与自反，mixed 散在位置索引附近。Qwen 族中作者称位置效力随规模增强，正文未给百分比。

机制随位置与组内角色变化

• 测了什么：gemma-2-2b-it、m=3、n=20，对末 token 各层及层 18 的全部组索引做 TargetRebind（Figure 2）。
• 结果：首尾由位置机制单独控制行为；中间组位置机制只占行为的 20%（§3.3）。tentity=1 更靠自反，tentity=3 更靠词汇，tentity=2 两者都用。mixed 的预测靠近位置索引（Figure 3）。作者称位置项在中间变宽、变散，词汇与自反是尖峰。
• 作者的解读：三者有竞争协同。iP=6、iR=14、变动 iL 时，词汇靠近位置会放大词汇、压低位置；靠近自反则被自反压制；离得远则互不影响（Figure 3 右）。十个任务上作者称同一 U 形分工复现（Figures 8–9）。

自反指针与注意力阻断

• 测了什么：§3.4 让反事实答案不出现在原文中，在 ℓ 与 ℓ+1 打补丁（Figure 4，gemma-2-2b-it，tentity=1）。§C、§F 用 attention knockout。
• 结果：原反事实设计分不清指针和答案。新设计下，ℓ 不输出原文中没有的反事实答案；ℓ+1 已检索之后，两种设计都会输出该答案。作者称因此不存在“禁止输出上下文外实体”的抑制机制，ℓ 上被打补丁的是无法解引用的自反指针。§C 报告：层 11–16 阻断末 token 到查询 token，准确率从 98% 降到 37%（该段未再次点名模型；上一段干预对象是 gemma-2-2b-it、boxes）。再阻断查询后一 token 降到 8%；只阻断后一 token，作者称只降 1 个百分点。末位到查询、再加上从后一 token 出发，降到 6%。自反方向在层 8–12 阻断到 6%；词汇方向阻断到正确答案 token，准确率仍有 86%，阻断到全部实体 token 仍有 90%。
• 作者的解读：词汇信号可在查询 token 本地产生；自反信号必须从实体 token 取回，所以更早写出。Figure 23 中，积累绑定信息时阻断到目标实体，指针无法解引用；在下一层打补丁则仍输出反事实答案。

插入无实体填充句

• 测了什么：1,000 条不含需跟踪实体的填充句，实体组之间最多 500 token；gemma-2-2b-it、boxes（Figure 6，§5）。
• 结果：作者称 token 数约增至十倍时模式仍一致；填充再增后，词汇效应下降，位置与 mixed 略升，mixed 仍绕位置索引但更散。填到 10,000 token 时，除第一组外，前半段位置信息几乎不存在，后半段仍较强。
• 作者的解读：作者认为相对变弱的词汇机制加上更噪的位置机制，可能是 lost-in-the-middle 的一种机制解释。

其他消融与分析

• 同时去掉位置与自反：tentity=1/2/3 的 JSS 为 0.12/0.27/0.48；去掉位置与词汇为 0.55/0.41/0.20；去掉词汇与自反为 0.69/0.84/0.74（Figure 5）。
• 附录同设置：qwen2.5-7b-it 的 music 为 0.94/0.92/0.92（Table 5）；gemma-2-2b-it 的 sports 为 0.94/0.95/0.93（Table 4）；qwen 的 sports 为 0.95/0.93/0.92（Table 6）。作者称趋势相似。
• n∈[3,20]、tentity=3：中间组位置效力随 n 增大下降（Figures 14–17，gemma-2-2b-it 与 qwen2.5-7b-it，boxes 与 music）。正文未给每个 n 的百分比。
• §G 把 n∈[3,19] 填到与 n=20 等长：作者称 patch effect 略有偏移，趋势仍由实体数量而非长度主导。Figure 27 图注未写模型。
• 语言变体：boxes、music 各 12 种说法，gemma-2-2b-it 与 qwen2.5-7b-it 上作者称分工不变（Figure 21）。两机制指向同一实体时，作者称模型一致输出该实体（Figure 18，未给百分比）。
• 去掉词汇/自反所指向、且原文中不存在的实体后，模型只剩位置机制（Figure 28）；在 ℓ+1 做同样干预会输出反事实答案（Figure 30）。§B 的 PCA 与多项逻辑探针：首尾可分、中间重叠，n 增大更难分；论文未写探针所用模型，也未在正文给出准确率。

作者指出的局限与后续方向

论文未专门讨论局限。结论、正文与附录均未把某项结果写成局限、不足或未来工作。

实验覆盖范围

• 行为实验报告九个模型：gemma-2-2b/9b/27b-it、qwen2.5-3b/7b/32b/72b-it、llama-3.1-8b/70b-it。九个模型评 boxes 与 music；gemma-2-2b-it 与 qwen2.5-7b-it 评 Table 1 的十个任务（§3，Figures 8–11）。
• 实体组数 n∈[3,20]，主图多为 n=20；m=2（boxes）或 m=3；实体集合大小 23 到 80（§A.1）。干预打在各模型检索前的末 token 残差流，层号见 Figure 10。
• 因果模型在 gemma-2-2b-it 的 music 上学习（n=20，tentity∈[3]，每索引组合 150 次）；附录给出该模型的 sports，以及 qwen2.5-7b-it 的 music、sports（§4，§E，Tables 3–6）。
• 另有实体 token 上的 PosSwap、LexSwap、RefSwap，attention knockout，去掉被指向 token，机制指向同一实体，每任务 12 种语言变体，最多 500 token 间隔的无实体填充句，以及把较短 n 填到 n=20 长度的对照（§C、§D、§5、§G）。
• 论文未报告 Figure 2 等主 patch-effect 图的配对样本量，也未说明如何从下一 token 分布取出单一预测；§C 的 knockout 准确率未在该段再次点名模型。§B 未写探针模型，正文未给探针准确率。

作者用互换干预说明：上下文中取回绑定实体靠三种机制混合，而不是只靠位置索引。

问题是实体组变长后，用查询实体定位子句再取值的位置机制在中间位置变噪。作者提出词汇机制（用绑定对端取回另一实体）和自反机制（用指向自身的指针，且该 token 必须仍在上下文中）来补这一缺口。

反事实配对使三种机制在打补丁后预测不同实体。干预打在检索开始前一层的末 token 残差流。因果模型 M 把位置项写成以查询组为中心的高斯，词汇与自反写成 one-hot，权重按索引学习。

• gemma-2-2b-it、n=20 时，首尾可由位置机制单独控制；中间组位置机制只占行为的 20%，预测散在邻近索引（§3.3，Figures 2–3）。
• 目标在组首更靠自反，在组末更靠词汇。作者称这一分工在九个模型（2B 到 72B）和十个绑定任务上出现。
• gemma-2-2b-it 的 music 上，M 的平均 JSS 为 0.95（摘要写 95% agreement）；作者称只略低于 oracle，仅位置 one-hot 的平均 JSS 为 0.44。
• 反事实答案不在原文中时，ℓ 不会输出该答案，ℓ+1 会，作者据此把自反指针和已检索答案分开（Figure 4）。
• 组间插入无实体填充句后，作者称模式先保持；填到 10,000 token 时，除第一组外前半段位置信息几乎不存在。作者认为词汇变弱、位置更噪，可能对应 lost-in-the-middle。

作者的结论是：词汇与自反提供更尖的信号，用来修正中间位置变散的位置机制。