叙事缺口：LLM 能否帮助我们跨语言导航多元叙事？

核心问题：LLM 能否作为信息系统，帮助用户在不同语言和地区的竞争叙事（narratives）之间导航，而不是强化过滤气泡和回音室。

• 场景与重要性：作者认为，争议性话题（如地缘冲突）的信息分散在不同语言和地区的“信息孤岛”中，同一事件存在不同的因果与道德解读；LLM 正成为人们获取信息的入口，其多语言能力理论上应能跨越这些壁垒。
• 现有研究的不足：作者称，已有审计研究发现 LLM 会强化用户既有信念（生成式回音室）、偏好查询语言的来源而非更相关的外语来源、在证据冲突时推理困难；但“LLM 能否打破而非强化信息获取壁垒”仍是开放问题。
• 核心观察：作者把这一挑战形式化为“导航多语言叙事”问题，将叙事操作化为“特定语言、锚定某地理区域的来源对某话题的叙述”，并承认这简化了同一地区/语言内部的叙事差异。
• 论文提出的内容：定义六项信息获取能力——三项基础能力（叙事包含 NI、叙事排除 NE、缺失叙事识别 MNI）和三项高阶能力（呈现多样叙事、确认式查询下保持叙事覆盖、跨语言信息对等）；并构建 NarrativeBench 基准（1,333 篇文章、23 种出版语言、23 个争议话题、460 条 Reddit 来源查询），评测 14 个 LLM、24 种查询语言、4,800 个案例。
• 主要发现（作者称）：当前模型缺乏可靠导航多样叙事所需的能力，即使用户显式要求多样性，叙事曝光仍存在缺口；信息获取随查询框架和语言不同而不同，可能加剧回音室、语言过滤气泡和信息不平等。

选择性曝光与视角接触

• 选择性曝光与党派新闻消费研究（Arguedas et al. 2022；Muise et al. 2022；Boonprakong et al. 2025）——部分受众集中于政治立场一致的来源，强政治信念增加确认偏误易感性。
• 拓宽视角接触的界面与干预（Jeon et al. 2024；Gao et al. 2018；Piccardi et al. 2025）——帮助用户跨政治立场探索新闻的界面；标注立场反而可能强化用户选择 aligned 观点；降低反民主内容曝光可减少情感极化。
• LLM 中介搜索的用户研究（Sharma et al. 2024；Cheng et al. 2026；Jakesch et al. 2023）——用户在 LLM 搜索中表现出比传统搜索更强的确认偏误；有偏模型回答会强化既有信念或改变用户态度。

LLM 中介的信息获取与多元性

• AI 搜索与新闻消费研究（Yang 2025；Kiskola et al. 2025；Nordberg et al. 2026）——引用集中于少数媒体，存在准确性、透明度和共识方面的担忧。
• 信息获取基准（MIRAGE、SeekerGym、WideSearch、InfoDeepSeek、GISA 等）——评测检索证据的准确性、信息收集完整性、专家咨询中的推理与澄清。
• 视角识别与叙事框架研究（Chen et al. 2019；PRISM；PerSpectra；Otmakhova & Frermann 2025）——考察模型如何识别和区分视角、表示叙事框架、容纳多样人类偏好。

语言依赖的立场与知识冲突

• Li et al. (2024)——LLM 对领土争议问题的回答随查询语言不同而不同。
• 知识冲突研究（WikiContradict、Clasheval、ConflictBank、Xu et al. 2024 综述等）——考察上下文与参数记忆冲突、检索段落互相矛盾时模型的行为。论文指出，这些工作聚焦语言依赖的立场和冲突事实，未回答模型如何表示跨语言、跨地区强调不同事实与解读的竞争叙事。

多语言 LLM 与信息能力

• 多语言一致性评测（Arora et al. 2025；Gupta et al. 2025；SeaEval 等）——语义等价问题答案不一致，性能随语言、文字和资源水平变化；文化基准（BLEnD、INCLUDE）评测日常知识和区域知识推理；TyDi QA 用多语言原生信息获取问题评测段落选择与答案抽取。
• 多语言 RAG 中的语言偏好（Sharma et al. 2025；Park & Lee 2025；Wang et al. 2026；Ki et al. 2025）——检索和生成阶段偏好查询语言文档，查询语言证据不可用时偏好高资源语言；模型可能偏好来源语言胜过相关性。

定位：作者称 NarrativeBench 在多语言信息获取和冲突证据研究基础上，进一步评测模型能否选择性地呈现和找回叙事、在确认式查询下拓宽曝光、并跨语言维持可比的信息获取。论文未设置对比基线方法，比较对象为 14 个被测 LLM 自身。

整体思路：把“导航多语言叙事”拆成六项可评测能力，构建 NarrativeBench 基准——给模型提供多语言文章上下文和查询，通过回答中的文档引用来判定哪些叙事被呈现，再用 F1/recall 等指标量化各能力。设计遵循 Liu et al. (2024) 的 Evidence-Centered Benchmark Design 框架。

数据集构建

• 文章收集：四阶段流程——选争议话题、确定相关地区与利益方、用相关语言开发地区特定搜索词、收集文章。经 Google Advanced Search、Yandex、Baidu 本地化搜索并筛选主题相关性、正文可及、来源可辨（附录 A.1）。
• 规模：1,333 篇文章，来自 43 个国家/地区/区域组织，覆盖 23 个话题、23 种出版语言；按来源视角和出版语言分为 180 个叙事组（Table 3）。文章中位长度 4,654 字符。
• 叙事区分度诊断：同组文章的多语言 embedding 余弦相似度高于不同组（均值差 0.047，95% bootstrap CI [0.044, 0.051]，置换检验 p < 0.001）；限定同语言后同视角文章仍更相似（均值差 0.012，附录 A.2）。
• 查询来源：460 条查询 = 283 条 Reddit 直接来源 + 177 条针对覆盖不足话题的改编；其中 230 条中性、230 条确认式（寻求支持某既有信念）。两名独立标注者对 100 条英语查询的“真人是否会问 AI 助手”打分，均值 4.09 和 4.89（5 分制）。
• 查询翻译：用 Google Translate 译成 23 种出版语言加泰语，共 11,038 个查询-语言版本、24 种语言。1,704 条翻译的 WMT22-COMETKiwi-DA 均值 0.853–0.879；人工评审 40 对样本，90.8%（118/130）判定语义保留（Table 4、5）。

任务设计（六项能力 → 五个任务）

• FC-1 叙事包含（NI）：要求只呈现指定叙事，期望回答只引用目标叙事的证据。
• FC-2 叙事排除（NE）：要求排除指定叙事，期望引用其余相关叙事、不引用目标叙事。
• FC-3 缺失叙事识别（MNI）：给定一份聚焦单一叙事的既有回答（所有模型用同一份），要求修订并纳入被遗漏的叙事。
• HC-1 多样叙事呈现：比较 Baseline Prompt（BP，只要求用证据回答）与 Diverse Prompt（DP，显式要求呈现上下文中的多样叙事）下的叙事覆盖及差值。
• HC-2 确认式查询稳健性：比较中性 vs 确认式查询下的叙事覆盖差；HC-3 跨语言信息对等：沿查询语言和叙事语言两个轴衡量与英语的差距。

评测协议与指标

• 案例构造：每个案例 = 文档上下文 + 用户查询 + 任务指令。上下文含每个所选叙事的 3 篇文章（9–45 篇，中位 24 篇）；同一问题跨任务和语言用相同文章。模型用查询语言回答并引用文档 ID（如 [D001]，ID 不透露来源地区或语言）。
• 叙事判定：回答引用某叙事至少一篇文章即视为该叙事“呈现”。比较引用叙事集 Ci 与要求叙事集 Gi：NI/NE 用 F1（同时惩罚引用被要求排除的叙事），MNI/BP/DP 用 recall。
• HC-1 指标：BP、DP 下 recall 及配对差 ∆DP−BP = RDP − RBP，控制问题、查询语言和文档上下文不变。
• HC-2 指标：对每种配置取中性/确认式查询 recall 的绝对差再平均；附录 B.4 另有控制话题、语言和 prompt 后的带符号回归估计。
• HC-3 指标：每种语言与英语的均值差 ∆ℓ = Mℓ − Men，查询语言轴汇总全部五任务，叙事语言轴汇总 NI/NE；另统计来源语言遗漏率（上下文中有某语言文章但回答未引用）。
• 语言校验（LVal）：回答语言与查询语言不符记零分，不计入叙事评分；语言识别用 Lingua，阿姆哈拉语等四种语言用 fastText。

实验设置

• 被测模型：14 个模型、15 种配置——GPT-5.4 mini、GPT-6 Luna、GPT-OSS 20B（low 3K 与 medium 16K 两种）、GPT-OSS 120B (low)、Gemini 2.5 Pro、Gemini 2.5 Flash、Gemini 3.8 Flash (low)、Gemma 4 26B-A4B IT、DeepSeek V4 Flash、Qwen3.5 0.8B IT、Qwen3.5 9B IT、Qwen3.5 9B Base、Kimi K2.6、Command A（Table 6 列出模型标识、推理设置和输出上限，多数输出上限 3,000 token）。
• 基准与规模：NarrativeBench，每种配置 4,800 个案例（每任务 960、每查询语言 200、每查询类别 2,400），覆盖全部 460 条查询（230 中性 + 230 确认式），共 72,000 条评分回答。
• 指标：NI/NE 用叙事 F1，MNI/BP/DP 用叙事 recall；HC-2 为中性/确认式 recall 绝对差（pp）；HC-3 为与英语的差距（pp）；另有来源语言遗漏率和 LVol（回答语言不符计数）。
• 判定方式：基于引用的规则判定（引用某叙事文章即算呈现），回答语言用 Lingua/fastText 校验；无 LLM 评审。引用支持度经人工审计（附录 C.1）。
• 重复次数：论文未报告重复运行次数；报告标准误。

主结果

据 Table 1（括号内为标准误；单位 %，gap 为百分点）：

表格较宽，可左右滑动

模型	NI F1	NE F1	MNI recall	BP recall	DP recall	HC-2 gap (pp)
GPT-5.4 mini	21.0	54.8	62.3	45.5	55.4	2.74
GPT-6 Luna	26.0	42.3	48.1	32.0	39.2	4.25
GPT-OSS 120B (low, 3K)	16.5	52.3	73.7	51.4	56.6	1.14
Gemini 2.5 Pro	25.2	74.2	79.4	70.6	74.9	4.29
Gemini 3.8 Flash (low)	52.5	65.2	82.8	57.8	68.7	10.09
Qwen3.5 0.8B IT	2.6	7.4	11.9	8.1	8.2	0.48
Kimi K2.6	19.8	60.4	73.0	48.3	51.1	0.72
Command A	14.3	35.8	50.3	32.0	34.3	3.34

（省略 GPT-OSS 20B 两种配置、Gemini 2.5 Flash、Gemma 4 26B-A4B IT、DeepSeek V4 Flash、Qwen3.5 9B IT、Qwen3.5 9B Base，均见 Table 1。）

• 基础能力整体偏低：15 种配置平均 NI F1 19.9%（SE 0.6%）、NE F1 49.3%、MNI recall 56.8%；NI F1 在每种配置下都低于 NE F1。作者称模型难以让用户控制呈现哪些叙事。
• 显式多样性要求收益有限：BP 平均 recall 44.3%、DP 49.2%；作者称即使显式要求多样性，最强配置（Gemini 2.5 Pro，DP 74.9%）仍有约四分之一的可用叙事未被呈现。
• 查询框架影响覆盖：中性/确认式查询的平均绝对 recall 差为 3.23 个百分点，范围从 Qwen3.5 9B IT 的 0.32 到 Gemini 3.8 Flash 的 10.09；Table 2 示例显示确认式查询下回答可在认同查询前提的同时引用更多叙事。

跨语言信息对等（HC-3）

• 查询语言差距：15 种配置下相对英语的平均绝对差距为 8.74 个百分点，范围从 Kimi K2.6 的 3.59 到 GPT-OSS 20B (low) 的 13.84（正文 5.2 节；Table 1 列 Query gap）。
• 叙事语言差距：平均 7.51 个百分点，范围从 Qwen3.5 0.8B IT 的 2.76 到 Gemini 3.8 Flash 的 10.72。
• 来源语言遗漏：DP 下 Tigrinya、Nepali、Armenian 来源的遗漏率分别比英语高 59.8、57.9、54.6 个百分点（Figure 1E）。附录 B.5：查询语言与来源语言匹配时遗漏率 41.3%，不匹配时 50.4%，23 种来源语言中 22 种匹配时遗漏更低（Figure 2）。

稳健性与补充分析

• 引用选择对照（附录 C.2）：1,720 个案例、12 个模型上，与随机选择相同数量文档相比，模型在 NI 上高于随机（observed .331 vs random .235），在 NE、MNI、BP、DP 上低于随机（如 DP .753 vs .797，Table 9）。
• 生成设置影响（附录 C.3）：GPT-5.4-mini 在 985 个相同输入上，medium reasoning 使 NI F1 从 28.11% 升至 39.37%，但 NE F1 和 MNI/BP/DP recall 降 7.38–15.94 个百分点；102 条回答耗尽输出上限（含 46 条空回答）。作者据此强调报告生成设置的重要性。
• 其他检查：翻译质量与基准分数无可检测关联（Pearson r = −0.019，附录 A.4）；输入长度翻倍对应分数变化 4.3 个百分点（95% CI [−0.7, 9.3]，附录 C.2）；知识截止后出版的文章未见 recall 下降（+4.77 pp，p = .325，附录 C.4）；WildChat/ShareChat 来源的 14 条查询上 GPT-5.4 recall 46.4%、Gemini 2.5 Pro 46.8%（附录 C.5）。

其他消融与分析

• 引用支持度人工审计（附录 C.1）：两名标注者评审 45 对引用句-文档，一致率 82.2%（Cohen's κ = 0.708），33 对被两人均判定有支持。
• 服务拒答：Kimi K2.6 服务拒绝了 4,800 个请求中的 552 个（高风险），集中于印中紧张、台湾、印度学生抗议等话题（Discussion 节）。
• 查询标注一致性（附录 A.3）：两名标注者对 100 条查询的评分 39% 完全一致，加权 Cohen's κ = −0.067。
• HC-2 带符号估计（附录 B.4，Table 7）：控制话题、语言和 prompt 后，确认式减中性的调整差从 Kimi K2.6 的 −3.2 pp 到 GPT-6 Luna 的 +3.2 pp，方向不一。

作者指出的局限与后续方向

• 叙事表示（第 7 节）：按来源视角和出版语言分组，未捕捉同一地区/语言内部在事件、因果和后果上的分歧；作者认为应扩展到组内分歧。
• 语料代表性（第 7 节）：语料限于本地化搜索可及的话题、地区来源和文本；信息获取跨模态和媒介发生，需更广采样以检验能力缺口随可用叙事的变化。
• 来源质量与虚假信息（第 7 节）：争议报道可能含宣传和误导，未来评测应考察模型在保留竞争视角的同时区分可靠证据；作者声明不背书基准中叙事为事实。
• 引用覆盖与主张支持（第 7 节）：引用只测叙事呈现，引用支持审计只覆盖样本；作者称跨回答和语言评估忠实度（含义、论证强度、情感的损失）复杂且未做。
• 高阶能力的人工评估（第 7 节）：高阶能力对过滤气泡、回音室的实际影响需要人类被试研究；即使模型呈现竞争叙事，用户也可能选择性关注支持既有信念的视角。
• 多轮信息获取与信息消费（第 7 节）：基准只评固定查询和指令的单轮回答，未来应测多轮中意图演变下的叙事呈现；并需用户研究考察叙事组织方式对比较和溯源能力的影响。

实验覆盖范围

• 被测模型为 14 个、15 种配置，覆盖 OpenAI、Google、DeepSeek、Qwen、Moonshot、Cohere 六个家族（Table 6）。
• 评测规模为每种配置 4,800 案例、24 种查询语言、5 个任务，共 72,000 条回答；话题 23 个、出版语言 23 种（第 5 节、附录 B.1）。
• 叙事“呈现”仅以引用判定，引用支持度人工审计仅覆盖 9 种查询语言、45 对样本（附录 C.1）。
• 查询翻译质量审计覆盖 8 种目标语言；其余语言未做人工翻译质量评审（附录 A.4）。
• 论文未报告每个配置的重复运行次数；标准误基于案例层面计算。

一篇基准论文：作者把“LLM 能否帮助用户跨语言、跨地区导航竞争叙事”形式化为六项信息获取能力，并构建 NarrativeBench 进行测量。

• 问题：争议话题的信息分散于不同语言和地区的叙事中，作者认为 LLM 可能强化而非打破过滤气泡和回音室，需要能力导向的评测。
• 方法：1,333 篇 23 种语言的新闻文章覆盖 23 个争议话题、180 个叙事组，配 460 条 Reddit 来源查询（230 中性 + 230 确认式，译成 24 种语言）；通过回答中的文档引用判定叙事呈现，设 NI、NE、MNI、BP、DP 五个任务，用 F1/recall 及语言差距衡量。
• 基础能力结果：15 种配置下 NI 平均 F1 19.9%、NE 49.3%、MNI recall 56.8%；NI 在每种配置下都低于 NE（Table 1）。
• 高阶能力结果：BP 平均 recall 44.3%、DP 49.2%，最高的 Gemini 2.5 Pro 在 DP 下为 74.9%；中性/确认式查询覆盖平均相差 3.23 个百分点；查询语言相对英语平均差 8.74 个百分点，DP 下 Tigrinya 来源遗漏率比英语高 59.8 个百分点。
• 作者的结论：当前模型缺乏可靠导航多样叙事的能力，造成“控制的错觉”；作者建议把这些能力作为明确的训练和评测目标，并呼吁政策和采购标准要求报告跨语言、跨话题的叙事获取差异。
• 定位：作者称 NarrativeBench 是构建跨语言信息系统的“能力基础”，其叙事操作化是必要条件而非充分条件，组内分歧、多轮交互和用户影响留待后续。