LLM 如何处理上下文知识冲突：ContextConflict 数据集与机制可解释性分析

LLM在多来源语境内部出现互相冲突的证据时，如何检测、表征并化解这些冲突。

• 场景：作者称，部署在检索增强或多文档场景中的LLM会遇到来自多个来源的冲突信息。冲突化解失败时，输出可能产生幻觉、事实错误或片面，并延伸到新闻聚合、医疗决策支持、错误信息检测和法律推理等高风险场景。
• 现有数据的四点不足：作者归纳既有语境知识冲突数据集依赖模板化合成（多为实体替换），难以反映真实复杂度；聚焦显式事实矛盾，忽略需要多步推理的隐式冲突；领域与冲突类型覆盖有限；可能存在类别不均衡，使类别级分析不可靠。
• 核心观察：作者用概念激活向量、谱能量分解和Shapley归因分析后称，模型对冲突有潜在感知，不同类型在不同层深出现并对应不同几何结构；同时存在偏向更早证据的位置偏好，作者认为这是有效冲突化解的关键障碍。
• 本文提出：六类冲突分类（misinformation、inferential、temporal、granularity、perspective、ambiguity）及数据集 CONTEXT CONFLICT（5,781条，含推理与摘要、显式与隐式冲突）；对七个LLM的评测；以及一种无训练、无标签的激活转向，把激活推向更均衡地纳入各条证据。

按附录A的分组，论文讨论了以下方向。

知识冲突与数据集

• 参数–语境冲突：Longpre et al. (2021) 关注 context-memory 冲突；Su et al. (2024) 的 ConflictBank 多用实体替换构造事实冲突；Xie et al. (2024)、Xu et al. (2024) 讨论冲突下的不一致或幻觉输出。作者指出这类资源有四点局限：合成冲突的真实复杂度有限、显式表层矛盾多而隐式多步冲突不足、领域多样性有限、类别不均衡削弱类别级分析。
• 单类型数据：AmbigDocs（Lee et al., 2024）针对单一歧义类型。作者称，据其所知，少有数据集在一个多领域集合中同时覆盖六类冲突和两种任务范式。

RAG中的冲突缓解

• 外部模块路线：多智能体审议（Li et al., 2025; Wang et al., 2025）、冲突驱动摘要（Chen et al., 2025）、对抗训练的评估器（Choi et al., 2025; Javadi et al., 2026）。作者称这些方法多把冲突化解当黑盒，常需额外模型或训练，对内部机制的洞察有限。
• 对比解码：context-aware decoding（CAD，Shi et al., 2024）放大语境相对参数记忆的贡献，对照 log p(y | ctx) 与空语境。作者称 CAD 把 K 条证据当作一整块，无法在证据之间重新分配表征贡献，与本文的证据内不对称是正交问题，不能直接当作替代方法比较。

多文档摘要的证据归因与机制可解释性

• Shapley归因：Ye and Yoganarasimhan (2025)、Patel et al. (2025) 用 Shapley 值量化文档重要性或改进效率，依赖 LLM-as-a-judge，面向内容提供者补偿而非冲突分析。作者把 Shapley 用于冲突场景的均衡性分析，并用归一化 Gini 系数定义 Balance。
• 机制探针：概念激活向量（Kim et al., 2018）、谱分解（Raghu et al., 2017）、稀疏自编码器（Huben et al., 2024）主要用于事实回忆、推理或情感。作者称针对语境知识冲突的机制分析仍然少见（Xu et al., 2024）。

位置偏差

• 长上下文位置偏差：Liu et al. (2024) 报告LLM在长上下文上的位置偏差。正文还引用 Jin et al. (2025)、Zhang et al. (2024)、An et al. (2024) 讨论文档位置与上下文利用；Rimsky et al. (2024)、Zou et al. (2023) 与对比激活相加、表征工程相关，被作者用作转向方法的背景。

基线与基准：评测在自建 CONTEXT CONFLICT 上进行，指标为推理任务的 Accuracy、摘要任务的 Balance，以及两类任务共用的 Faithfulness。转向实验中的对照方向为 Context-Aware Steering（CAS）。作者把本文定位为：提供六类、双任务的多领域数据，分析冲突何时被检测、如何几何表征、证据如何被整合，并提出不依赖外部模型的无训练激活转向。

作者构建数据集 CONTEXT CONFLICT，把冲突分成推理与摘要两类任务，再用隐藏状态探针、谱能量和 Shapley 归因定位位置偏向，最后沿“单条证据中心相对合并证据”的方向做激活转向。

分类与数据构成

• 六类与两族任务：推理任务为 inferential、misinformation、temporal，要求在冲突证据下选出可验证的正确答案，用 Accuracy。摘要任务为 ambiguity、perspective、granularity，允许多个有效回答，要求均衡整合不同观点，用 Balance。
• 显式与隐式：显式冲突可由表层直接比较识别，至多一步推理；隐式冲突需跨证据多步推理，至少两步。Table 1 给出各类隐式比例：Temporal 93.5%，Perspective 49.5%，Misinformation 37.1%，Inferential 25.4%，Granularity 7.4%，Ambiguity 0.0%。
• 规模与来源：共 5,781 条。其中 1,734 条（29.99%）为半合成，4,047 条（70.01%）为按冲突类型人工归类的保留原文。半合成只用 GPT-5 生成冲突证据或时间戳，金标签继承来源数据或由人工重标，不由 GPT-5 产生。Table 1 中各类规模与平均证据条数为：Misinformation 1004 / 2.66（SciFact; ConflictBank），Inferential 787 / 5.66（ENTAILMENTBANK; NEJM-MedQA; FOLIO），Temporal 960 / 2.26（ConflictBank; CONFLICTS），Granularity 1020 / 5.36（ROAST-ABSA; NEJM-MedQA），Perspective 1010 / 4.48（AllSides; Perspectrum），Ambiguity 1000 / 2.94（AmbigDocs）。
• 质控按风险分层：可能翻转金标签的子集由两名独立标注者全量重标；增强很少改标签的子集抽 30% 审计；保留原文子集抽 10% 抽查。附录 B.1 给出 GPT-5 的完整提示词与校验规则。

指标

• Accuracy：推理任务上，输出与金标准标签匹配的比例。
• Balance：对 n 条证据，用外部冻结打分器（默认 Llama-3.2-1B）的长度归一化对数似然作为价值函数 v(S)，计算每条证据的 Shapley 贡献 ϕi。负贡献截断后归一化为份额 p，Balance 为 p 的归一化 Gini 系数：Balance(R)=n/(n−1)·1/n∑_i=1ⁿ(2i−n−1)p_[i]，其中 p 已按升序排列。0 为完全均等，1 为最大不均，越低越均衡。
• Faithfulness：用 RAGAS 把回答拆成原子声明，报告被给定证据支持的比例；衡量的是是否落在给定证据内，而不是事实正确性。适用于全部冲突类型。

机制分析

• 冲突感知：对每类冲突构造冲突样本与一致样本（细节在附录 D.1），在每层用隐藏状态训练线性逻辑回归探针，以 AUC 衡量线性可分性。主分析模型为 Llama-3.1-8B-Instruct，并在 GPT-OSS-20B 上复核。
• 表征几何：取最后非填充 token 的隐藏状态，计算 top-k 奇异值能量比 ER（k=10）及冲突与一致样本的差 ∆ER。作者定义 ∆ER>0 为沿主导方向的低秩压缩，∆ER<0 为向更多维度分散。
• 位置偏向：对同一样本比较合并证据激活 c(l) 与各单条证据激活的中心 μ(l)，用方向投影 b_i 看合并表征偏向哪一条。输出侧用 Shapley 份额印证。校准集 20%、测试集 80%。

激活转向

• 方向：在校准集上分别取单条证据与合并证据的最后 token 残差流，u(l) 为平均中心 μ̄(l) 减去平均合并激活 c̄(l) 后做范数归一。推理时 h ← h + α·u(l)，α=1.0。
• 两种注入：First-Generated 只在第一步注入，All-Tokens 每步注入。对照为 CAS，它放大对语境整体的依赖，而 u(l) 对准证据整合轴。该方法需要白盒残差流，只用于开源权重模型。
• 成功判定：推理看 Accuracy 是否上升，摘要看 Balance 是否下降，并同时报告 Faithfulness。附录 E 给出推理与摘要的系统/用户提示词，不在此复述具体句式。

实验设置

• 被测模型：gpt-5、claude-4.5-sonnet、gemini-2.5-pro、gpt-oss-120b、gpt-oss-20b、llama-3.1-70b-instruct、llama-3.1-8b-instruct。转向只在 Llama-3.1-8B-Instruct 与 GPT-OSS-20B 上做。
• 数据：CONTEXT CONFLICT，5,781 条，六类规模见 Table 1。转向把数据划为校准 20%、测试 80%。
• 指标：推理报告 Accuracy 与 Faithfulness（越高越好）；摘要报告 Balance（越低越好）与 Faithfulness。Balance 默认打分器为 Llama-3.2-1B。
• Balance 校验：两名独立人工标注者与 GPT-5 作为 LLM-as-a-Judge，108 条样本、三个模型、三类摘要任务。因果干预限于能读取自身对数概率的 Llama-3.1-8B-Instruct 与 GPT-OSS-20B，72 条已人工核验样本。打分器稳健性另用 Llama-3.1-8B 与 Gemma-2B，论文称排序基本不变，具体数值在附录 Table 6，正文未列出。
• 机制分析主模型：Llama-3.1-8B-Instruct；GPT-OSS-20B 用于复核层间 AUC、∆ER 与投影（附录 D.4）。谱能量取 k=10。论文未报告主表的重复次数。

主结果

Table 4 报告七个基座模型及两种转向模型的三种变体（单位 %）。Acc、Fth 越高越好，Bal 越低越好。

Swipe horizontally to read the table

模型	Infer. Acc	Misinfo. Acc	Temp. Acc	Ambig. Bal	Gran. Bal	Persp. Bal
gpt-5	43.6	61.5	68.0	26.1	20.2	29.8
claude-4.5-sonnet	44.3	54.6	61.9	24.3	22.9	31.0
gemini-2.5-pro	42.4	38.6	65.7	20.5	25.9	33.9
gpt-oss-120b	44.1	51.4	64.5	31.9	23.8	31.0
gpt-oss-20b	35.7	51.8	63.2	39.8	21.8	34.5
llama-3.1-70b-instruct	38.4	46.0	49.7	27.7	30.3	32.4
llama-3.1-8b-instruct	24.8	27.5	19.5	41.5	34.4	36.9

据 Table 4。Faithfulness 未全部列入上表：gpt-5 在三类推理上为 76.8 / 83.2 / 88.5；llama-3.1-8b-instruct 为 61.6 / 68.2 / 53.7。摘要侧，gemini-2.5-pro 的 Ambiguity Faithfulness 为 92.2，gpt-oss-20b 的 Perspective Faithfulness 为 92.5，而其 Balance 为 34.5。

• 难度顺序：作者称推理任务上 Temporal 最高到 68.0%，Misinformation 最高到 61.5%，Inferential 最高到 44.3%；最强模型的 Inferential 仍低于 50%。作者认为冲突下的多步推理是当前模型共有的瓶颈，并使用了 SOTA bottleneck 这一说法。
• 规模：作者称表现随容量上升（Inferential：llama-3.1-8b-instruct 24.8% 对 claude-4.5-sonnet 44.3%），但 Balance 不随容量单调（gpt-oss-120b 31.9 对 20b 39.8，该对比对应 Ambiguity）。
• 位置偏向与忠实度分离：附录 Figure 23 中，Llama-3.1-8B-Instruct 在 Ambiguity 上第一条证据贡献 69.0%；正文另给 Granularity 38.4%、Perspective 35.0%。作者称模型可以同时高忠实、又位置偏向，偏向主要发生在证据选择阶段。

Balance 指标校验

• 一致性：Table 2 中人工与人工 κ=0.52；人工1、人工2与本文指标分别为 0.52、0.50；人工与 GPT-5 评审为 0.55、0.56；本文指标与 GPT-5 评审为 0.51。作者称本文指标与人工的一致性接近人工之间的一致性。
• 因果干预：Table 3 在 72 条样本上，去掉最高贡献证据后，Llama-3.1-8B 的对数似然从 −0.656 降到 −0.977（∆high=0.321），去掉最低贡献为 ∆low=0.076；GPT-OSS-20B 为 ∆high=0.885、∆low=0.373。作者称排序与真实证据依赖一致。

机制分析与转向

• 冲突感知：作者称 Figure 2 中多数冲突类型在中后层达到 AUC>0.85。Temporal 与 Ambiguity 最早饱和；Inferential 与 Misinformation 更晚出现；Granularity 呈 U 形，Perspective 在中层达到峰值后下降。作者认为冲突感知不是单一触发，而是随语义加工变化的过程。GPT-OSS-20B 的层间曲线在附录 D.4，作者称冲突类型顺序与出现模式在两种架构上一致。
• 几何与位置：作者称 Figure 4 中 Temporal 的 ∆ER>0（压缩），Granularity 与 Ambiguity 的 ∆ER<0（分散），Inferential 与 Misinformation 接近 0。Figure 3 中合并表征在各层偏向第一条证据。七个模型（8B 到 120B）上 Evidence 1 优势保持。附录 D.8 称随机重排不能取消 Evidence 1 的主导，Tables 9 和 10 显示打乱后 Evidence 1 仍主导，具体份额正文未给出。
• 转向：Table 4 中 Llama-3.1-8B-Instruct 的 All-Tokens 将 Inferential / Misinformation / Temporal 的 Accuracy 从 24.8 / 27.5 / 19.5 升至 37.0 / 35.4 / 38.7；作者称 Temporal 提升 19.2 个百分点。Balance 从 41.5 / 34.4 / 36.9 降到 30.8 / 25.8 / 27.7。GPT-OSS-20B 的 All-Tokens 将 Inferential、Misinformation 从 35.7、51.8 升至 45.7、56.0，Temporal 从 63.2 到 64.1。作者称 u(l) 在六个“模型×推理任务”比较中赢了五个；例外是 GPT-OSS-20B 的 Temporal，CAS 为 65.5，u(l) 的 All-Tokens 为 64.1。作者把例外归因于时间推理更需要均匀使用每一条带时间戳的证据。推理任务上 Faithfulness 略降，作者称这对应转向多证据推理、超出逐字依据。

其他消融与分析

• 注入日程：同一模型上 First-Generated 与 All-Tokens 并列于 Table 4；作者称 All-Tokens 带来最大的准确率增益。Llama-3.1-8B 的 First-Generated 在 Temporal 上为 25.7，低于 All-Tokens 的 38.7，高于基线 19.5。
• CAS：Llama-3.1-8B 上 CAS 的三类推理 Accuracy 为 34.2 / 31.8 / 34.7，低于 All-Tokens；摘要 Balance 为 35.7 / 28.7 / 33.5，也高于（即差于）All-Tokens。
• α：Figure 31 在 Llama-3.1-8B-Instruct 上扫描系数；作者称在测试范围内表现稳定，可靠工作区约为 α∈[1.0, 1.5]。图中各点的具体数值正文未列出。
• 打分器：附录 Table 6 更换 Llama-3.1-8B 与 Gemma-2B 后，作者称绝对 Balance 变化但模型排序基本不变。
• 闭源位置偏向：附录 Figure 24–29 为各模型的证据贡献饼图；作者称闭源系统中同样存在位置偏向（附录 D.5），但转向本身不能用于闭源模型。Figure 30 称 GPT-OSS-20B 的合并表征跨层偏向更早证据。

作者指出的局限与后续方向

• 白盒限制：方法需要白盒访问残差流激活，因此只适用于开源权重模型，并增加推理时开销（Limitations and Future Work）。作者同时称位置偏向本身也出现在闭源系统中。
• 规模：计算约束使转向实验限于 GPT 与 LLaMA 的 8B 和 20B；扩展到 70B 或 120B 留作后续工作（同节）。
• 数据：数据集使用合成样本以便受控操作；在噪声、异构证据的真实检索上评测仍然开放（同节）。
• 归因假设：Shapley 归因假设每条证据在期望上贡献相等，证据质量不一时可能不成立；作者认为带来源可靠性先验的加权 Shapley，并与 Faithfulness 一起使用，是一个可做的扩展（同节）。
• 伦理边界：误信息样本只为评测冲突处理而构造，元数据中标明每条证据事实正误；作者将在数据发布时附上使用规范，并称不应将其用于训练生成误导内容的模型（Ethical considerations）。

实验覆盖范围

• 行为评测：七个模型均在 CONTEXT CONFLICT 的六类冲突上报告 Accuracy 或 Balance 以及 Faithfulness（Table 4）；数据来自十个基础数据集，1,734 条半合成、4,047 条保留原文（Section 2.2）。
• 指标校验：Balance 的人工与 GPT-5 一致性基于 108 条样本；因果干预基于其中 72 条、两个可读取对数概率的开源模型（Section 3.2、Table 2、Table 3）。
• 机制分析：主分析为 Llama-3.1-8B-Instruct 的层间 AUC、∆ER 与方向投影；GPT-OSS-20B 上复核了这些趋势（Section 4、附录 D.4）。谱能量使用 k=10。
• 转向：校准/测试划分为 20%/80%，α=1.0，比较 First-Generated、All-Tokens 与 CAS；α 敏感性实验在 Llama-3.1-8B-Instruct 上进行（Section 5、Figure 31）。论文未在正文给出随机重排后的具体份额，只称附录 Tables 9、10 中 Evidence 1 仍然主导。
• 未在主实验中改变的设定：论文未报告主结果的重复次数，也未报告转向的具体查询次数或耗时，只称存在推理时开销。

CONTEXT CONFLICT 把问题从“参数知识对外部语境”转到“语境内部多来源证据互相冲突”，并同时给出数据、机制分析和一种无训练转向。

• 问题：检索增强与多文档场景中，冲突化解失败会被作者关联到幻觉、事实错误和片面输出。既有数据偏实体替换、显式矛盾、领域窄且类别可能不均衡。
• 数据：5,781 条、六类冲突。推理三类（inferential、misinformation、temporal）用 Accuracy；摘要三类（ambiguity、perspective、granularity）用基于 Shapley 的 Balance；全部类型另报 Faithfulness。隐式比例从 Ambiguity 的 0.0% 到 Temporal 的 93.5%。
• 评测：七个模型里，Temporal 最高为 gpt-5 的 68.0%，Misinformation 最高为 gpt-5 的 61.5%，Inferential 最高为 claude-4.5-sonnet 的 44.3%，仍低于 50%。摘要侧 Balance 最低（最均衡）的一格是 gemini-2.5-pro 在 Ambiguity 上的 20.5；llama-3.1-8b-instruct 在三类摘要上为 41.5 / 34.4 / 36.9。
• 机制：作者称模型内部能线性区分冲突与一致输入，多数类型在中后层 AUC>0.85，但出现层深随冲突类型变化。合并证据的残差流偏向第一条证据；Llama-3.1-8B-Instruct 在 Ambiguity 上第一条贡献 69.0%。Balance 与人工 κ 为 0.50–0.52。
• 转向：沿单条证据中心减合并激活的方向、以 α=1.0 注入。Llama-3.1-8B-Instruct 的 All-Tokens 把 Temporal Accuracy 从 19.5 升到 38.7（作者称 +19.2 个百分点）。例外是 GPT-OSS-20B 的 Temporal，CAS（65.5）高于 All-Tokens（64.1）。作者的结论是：模型常能内部察觉冲突，但仍把信任不成比例地分给更早证据；该转向减轻这一偏向并改善冲突下的证据整合，且需要白盒访问，实验规模停在 8B 与 20B。