研究：事实核查评测可能混入声明时不可知的未来证据

标准事实核查评测把 claim 当时不可知的信息算进成功，单一准确率分不清推理与后见。

• 场景： 自动事实核查用 LLM 读检索证据、写理由或直接裁决。作者举实验室来源说法：claim 未变，2020 年 4 月到 2021 年 5 月 27 日之间变的是可知内容；今天的分数分不清当时推理和事后回忆。
• 两条通道： 参数通道是预训练吸收的结局；时序通道是检索交来的、发表于 claim 之后的页面。作者称二者容易混在一起，标准基准很少分开。
• 现有做法： 只评训练截止之后的文本（Lazaridou et al. 2021）较干净，但丢掉窗口内常用基准上的能力。改进检索（Ou et al. 2026）仍不按 claim 给页面标日期。AVeriTeC 只有存档快照时间，QuanTemp++ 只有 claim 日期和有噪声的搜索摘要日期。
• 本文测量： 在这两套基准上恢复发表日期，重建 point-in-time 证据，并用实体遮挡与表示层探针量参数泄漏，再比较宽度瓶颈和互信息惩罚。作者认为应按 claim 当时可知的内容打分。

证据泄漏

• 同文裁决： Glockner et al. (2022) 讨论 MultiFC（Augenstein et al. 2019）：证据常来自写出裁决的同一篇文章，模型可以照抄。
• 内容重叠过滤： Chrysidis et al. (2024) 过滤泄漏或低质证据，但看重叠，不看页面是否晚于 claim。
• 网页证据基准： AVeriTeC 与 QuanTemp++ 用网页证据避开上述捷径；Thibault et al. (2024) 仍发现泄漏率因数据集而异。El Lahib et al. (2026) 显示搜索引擎日期过滤仍返回 cutoff 之后的页面。作者称据他们所知，此前没有人把标准基准切成当时可知与后来才到的两部分；他们标的是基准里已有的证据。

时间前瞻

• 截止与未来事件： Lazaridou et al. (2021) 看到截止后文本上质量下降；Xu et al. (2024) 追踪评测数据渗入预训练；He et al. (2025) 只用某日之前的文本训练；Karger et al. (2025) 评测模型不可能记住的未来事件。
• 错误信息的时间顺序： Karnam et al. (2026) 用时间顺序评测，避免假设部署时能拿到未来社交上下文。
• 实体–标签相关： Zhu et al. (2022) 把检测错误追到过去成立、未来会断的实体–标签相关。作者改用实体遮挡量表示里的已实现结局，并在截止前模型上做同一探针。

LLM 核查与表示约束

• 无日期截止的流程： Hu et al. (2024) 认为 LLM 单独当裁判较弱、当顾问有用。FacTool（Chern et al. 2023）加外部工具，DEFAME（Braun et al. 2025）接入检索到的文本和视觉证据。作者称这些流程把回忆当额外上下文，检索没有 claim 日期截止，也不分开记忆结局和事后页面。
• 互信息工具： 宽度瓶颈靠容量，信息惩罚靠目标。Kraskov, Stögbauer, and Grassberger (2004) 与 MINE（Belghazi et al. 2018）不能认定依赖已缩小；CLUB（Cheng et al. 2020）是适合做惩罚的上界。
• 基线与定位： 对照不是另跑的事实核查系统：GPT-2-XL（WebText 至 2017 年 12 月）、始终 Refuted 的多数类、同一冻结头上的宽度对条件 CLUB、leaked 对 point-in-time。基准为 AVeriTeC 与 QuanTemp++。作者称最近的是 Glockner, Hou, and Gurevych (2022) 与 Zhu et al. (2022)，二者诊断数据捷径；据他们所知，无人在同一批 claim 上同时测两条通道。比较两个旋钮时，作者称宽度比惩罚更能缩小泄漏。

整体是测量而不是新的开放网页核查器：在基准已有证据上切 point-in-time 与 leaked 两种视图，并用冻结骨干上的实体遮挡和可训练头比较宽度与惩罚。

问题设定与目标

• 符号： 对 claim X 取出 point-in-time 证据 E(X)，形成表示 R，预测二分类标签 Y。K 是已实现结局的嵌入，来自不进入检索的事后材料。
• 目标： 训练写成 L = I(R; Y | X) − λ I(R; K | E)（λ>0）。前一项由分类交叉熵实现，后一项惩罚 R 中超出已选证据 E 的结局信息。
• 检索范围： 不从开放网页检索，只在基准已提供的问答对里打分、选取。

日期恢复与两种视图

• AVeriTeC： 存档时间戳是抓取时间，不是发表时间。先试活 URL，再退到 Wayback，去掉存档前缀后按 Table 1 的信任序读页内日期：URL slug、JSON-LD 的 datePublished、通用日期元数据。都没有时，存档时间戳只作上界。多候选时留最可信层里最早的日期。
• point-in-time： 只留日期非空且不晚于 claim 的答案。事后存档上界丢掉，因为不能据此确定发表时间。没有合格答案的 claim 保留空集，不剔除。1,337 条有任意时点证据的二分类 claim 中，1,310 条有可信页内日期，27 条只靠存档上界。
• leaked： 清洗后、不做日期过滤的证据池。两种视图内都用 all-mpnet-base-v2 按与 claim 的相似度取 top-k。
• QuanTemp++： 日期主要来自 URL slug 和搜索摘要，未标日期的 URL 走同一套页内恢复；存档上界几乎不出现。作者写明这是另一套日期工具，不是与 AVeriTeC 配对的语料。

参数通道探针

• 两遍： 在 2,795 条二分类 AVeriTeC claim 上不给证据。第一遍看原 claim，第二遍用 spaCy NER 遮挡命名实体，句式保留。NER 无实体的 241 条剔除，剩 2,554 条（819 条 Supported）。
• 分数： 模型凭自身知识答 True 或 False。P(true) 是下一 token 上 True 相对 False 的概率质量。
• 对照： 同一指令、同一遮挡还跑在 phi-4，以及 WebText 收到 2017 年 12 月、早于 97.5% claim 的 GPT-2-XL，用来分开遮挡造成的信息损失和实体锚点召回的记忆。

表示、K 与交替训练

• 骨干： 冻结 Qwen3-14B，非思考模式。Figure 1 标注 4-bit，正文 4.4 未再写量化位数。claim 与证据拼成一条提示，末层隐状态 mean-pool 成 5,120 维，训练集上 PCA 到 16 维（两数据集保留 59–61% 方差），再经可训练头映到 R。只有这一头和线性分类器可训练，特征缓存一次。
• K： AVeriTeC 上由本地 Qwen3-4B 根据事实核查文章生成中性结局陈述，不喂 verdict 标签，并禁止裁决词和否定词；违规只标记、不滤掉。读不了的页面里，43 条后来改用 justification，37 条收回，6 条仍无 K。QuanTemp++ 没有文章 URL，K 直接从 justification 生成。
• 编码器： K 与 E 用另一个冻结编码器 all-MiniLM-L6-v2，各 PCA 到 8 维，以免惩罚测到的是同一编码器的相似度。论文写这两路嵌入分别保留 52% 与 24%（AVeriTeC）、27% 与 22%（QuanTemp++），未标明哪个百分比对应 K 或 E。
• 优化： 泄漏项用条件 CLUB 上界。先拟合 qφ(k|r,e) 估计 I(R; K|E)，再固定 critic，最小化交叉熵加 λ 倍该估计。λ 取 0、0.01、0.02、0.04、0.06、0.1、0.5，dR 取 8、2、1。头在 λ=0、dR=32 上按最小 train–validation 差距且保住验证 F1 来选（附录 A）：AVeriTeC 用线性头，QuanTemp++ 用 D2。作者计划在 camera-ready 发布日期缓存、划分索引、生成的 K 与代码，不重新分发 HTML。

泄漏与时序怎么量

• 训练外 leakage： 岭回归在验证集上，用 (R, E) 预测 K 相对于只用 E 的 held-out R² 增益；正则由交叉验证选择。claim-only 时 E 是常数，该列是无条件的结局可解码性。
• 零样本时序： 同一 Qwen3-14B 读 claim 和 top-5 证据，答 Supported 或 Refuted，不训练。空的 point-in-time 集合保留，claim 不剔除。

实验设置

• 模型： 参数探针为 Qwen3-14B、phi-4（正文写 14B）与截止对照 GPT-2-XL。训练头和零样本时序用冻结 Qwen3-14B。K 由 Qwen3-4B 生成。排序用 all-mpnet-base-v2，K/E 用 all-MiniLM-L6-v2。没有单独的 LLM 裁判。
• 数据： 只用二分类。AVeriTeC 官方 2,795 条；含实体探针 2,554 条（819 Supported）。时间顺序 train+validation 为 2,513 条。表示层用有 K 的 2,209/261；Section 5.3 的 λ=0 准确率用全部 265 条验证。QuanTemp++ 为 4,827/710，验证集 Supported 占 5.5%（39 条），作者称支持类估计可以很吵。
• 协议： leaked 不做日期过滤；point-in-time 只留不晚于 claim 的已标日期。不访问开放网页，默认 top-5。指标为 Accuracy、Macro-F1、Supported/Refuted recall、P(true)、held-out R²。时序差距用 McNemar 与 bootstrap。表示层每格 5 种子，部分 20 种子；Figure 4 为 10 种子均值 ±1 SD。
• P(true)： 下一 token 上 True 相对 False 的概率质量。Table 4 的 ΔP(true) 为正表示遮挡降低 gold-Supported 的置信度。Table 5 的 ΔΔP 是 gold-True 减 gold-False。
• 清洗： 丢掉 Not Enough Evidence 等类，实验不用 Mixed。去掉指向事实核查站的证据，以及 URL 重复和 Jaccard≥0.8 的近重复文本。

主结果

无证据的实体遮挡探针（Table 4）。作者称与 Qwen3-14B 为同一探针；recall 与 CI 在含实体子集上。Qwen3-14B 的 Accuracy 0.710 与 Table 2 相同。GPT-2-XL 是截止前对照，作者把它的 0.606 与 Table 2 多数类 0.679 对比。

Swipe horizontally to read the table

模型	训练数据	Accuracy	Supported recall	recall drop
Qwen3-14B	in-window (2020)	0.710	0.421→0.131	+0.291
phi-4	in-window (2020)	0.717	0.277→0.039	+0.238
GPT-2-XL（对照）	WebText ≤2017	0.606	0.394→0.686	−0.292

• 作者认为准确率盖住了泄漏。Table 2 的 Accuracy Δ 为 −0.032，遮挡后 0.678 与始终 Refuted 的多数类 0.679（1,735/2,554）对齐。摘要写成移动 0.03 个点、recall 从 0.42 到 0.13。只看准确率会得到对遮挡稳健的结论。
• 作者认为方向符合记忆：实体锚点在时才认出广泛报道的 2020 年真结局，去掉后回到 False 先验。Table 3 两例的 P(true) 从 1.00 到 0.00。作者称该集合 68% 为 Refuted，两类 recall 的变动大体抵消。
• 对照不崩向 False。Table 4 各行 recall drop 的 95% CI 依次为 [.258, .322]、[.210, .268]、[−.322, −.260]。配对 difference-in-differences 为 +0.582（95% CI [+0.533, +0.630]）。作者认为窗口内降幅主要来自召回记忆，不是遮挡让 claim 变难。phi-4 同向，作者称不是单一模型族的现象。

表示宽度与互信息惩罚

• λ： 作者称加大 λ 在两个数据集上都不能有效缩小泄漏。Figure 2（5 种子均值）里各宽度的 F1 随 λ 上升而下降，泄漏回报至多很小。正文未给出图中每个 λ 的读数。
• dR： λ=0、top-5 时点证据下，AVeriTeC 的 leakage 在 dR=8/2/1 为 0.168/0.046/0.029，F1 为 0.607/0.577/0.512（Table 6）。QuanTemp++ 对应 leakage 为 0.015/0.010/0.008，F1 为 0.783/0.789/0.783（Table 7）。作者称按每点 macro-F1 计，缩宽度去掉的泄漏多于任何 λ，且没有惩罚格子在同等效用下胜过 λ=0 的瓶颈。
• 作者的解读： 大部分泄漏在分类器不用的方向上，缩宽度的效用代价很小；惩罚要和效用项抢同一方向。残留约 0.03 的 R²（AVeriTeC；QuanTemp++ 更小）落在预测本身使用的方向上。有证据时瓶颈仍更好；惩罚只在 QuanTemp++ 的 claim-only 里有帮助（附录 B、Figure 5）。AVeriTeC 上 dR 为 8 和 2 时，claim-only 的 F1 高于 top-5（Table 6），而零样本提示模型从证据中得分（Figure 3）。

时序证据泄漏

• 零样本差距： Qwen3-14B、AVeriTeC 时间顺序 train+validation（n=2,513），test 留出。从 point-in-time 换到 leaked，准确率高 6.3 个点（95% CI [4.9, 7.8]）；Table 8 为 0.782 对 0.844（+0.063）。macro-F1 高 7.9（[6.1, 9.9]），Supported recall 高 10.4（[7.0, 14.1]）。作者用 McNemar 报告准确率 p<0.001，bootstrap 区间不含 0。只许使用给定证据时，macro-F1 膨胀从 7.9 到 9.0。无证据准确率 75.3%，低于两种有证据条件。作者称增益来自泄漏证据，不是先验。
• 拆成两组： Table 8：无事前证据 1,361 条，0.746 对 0.835（+0.090）；有事前证据 1,152 条，0.824 对 0.855（+0.031）。作者把 6.3 个点读成泄漏基准整体高估了多少，把 3.1 个点读成严格后见的上界，因为时点视图也丢掉了未能标日期的证据。摘要则写成其中 3.1 是严格后见。两组 McNemar p<10^{-4}。
• 训练头与 QuanTemp++： λ=0、验证集（AVeriTeC n=265，QuanTemp++ n=710）上，分视图训练的准确率差为 AVeriTeC −1.0 个点、QuanTemp++ 接近 0，Supported recall 差为 +3.5 与 +2.1。作者认为头靠参数通道、不怎么读证据，不是泄漏不存在。测试时交换视图（Figure 4，10 种子）：AVeriTeC 的 Supported-recall 差从 1.5% 升到 9.7%（λ 增大）和 5.4%（dR 收到 2），QuanTemp++ 从 2.3% 走向 0。作者称峰值在种子波动内，只读方向。QuanTemp++ 零样本准确率差 0.05%，McNemar p=0.87。Figure 3 图注的柱为 n=2,513 / 5,537；论文未把 0.05% 写成图中某一柱的标注。作者称 AVeriTeC 的时点过滤去掉 68% 的 leaked top-5；Table 13 的 pit-eligible 为 31.9%，两视图 top-5 相同的 claim 为 19.4%（QuanTemp++ 为 90.8% 与 70.4%）。

其他消融与分析

• Table 5：Qwen3-14B 的 ΔΔP 为 +0.190 [.156, .225]，phi-4 为 +0.175 [.150, .202]，GPT-2-XL 为 +0.009 [.002, .015]。作者称窗口内模型在 gold-True 上的置信度损失约为 gold-False 的三倍，对照在 0.01 以内与标签无关。
• Table 7 注明 QuanTemp++ claim-only 的 leakage 还被结局陈述复述 claim 抬高：dR=8/2/1 为 0.392/0.307/0.288；作者称证据大约多 0.06 macro-F1。
• Table 11（20 种子，λ=0.01 对 λ=0）：QuanTemp++ claim-only、dR=8，Δleakage −0.088 [−0.101, −0.075]，ΔF1 −0.007；AVeriTeC top-5、dR=8，Δleakage −0.039 [−0.047, −0.031]，ΔF1 −0.019。
• Table 12（AVeriTeC，dR=8，λ=0）：top-k=0/1/5 的 F1 为 0.626/0.611/0.607，leakage 为 0.268/0.172/0.168。作者称检索在一个答案处饱和。
• Table 1：5,565 条二分类证据中，可信页内信号 2,232 条里 419 条（18.8%）晚于 claim；无信号 1,081 条（19.4%）。Table 13：事后存档上界占 AVeriTeC leaked top-5 的 40.1%，QuanTemp++ 为 0.0%。
• Section 3.5：3,010 条中 66 篇不可读；2,944 条 K 里 1,216 条（41%）带标记，Refuted 52%、Supported 17%。作者写表示层探针测到的有一部分是标签信息，不只是结局知识。

作者指出的局限与后续方向

• 去不干净： 不能把结局信息说成已完全去掉。多数 claim 早于骨干训练截止；骨干冻结，只训练小头，冻结权重给表示层工具设了下限。约 0.03 的 held-out R² 留在分类器使用的方向上（Section 6）。
• 日期覆盖： point-in-time 依赖日期恢复，覆盖不全，且未做分层人工抽查。社交媒体和付费墙页面常无日期；事后存档上界被保守丢掉，被排除的不只是能确定晚于 claim 的页面。因此 54% 的二分类 AVeriTeC claim 没有事前证据，膨胀里有一部分是缺证据而不是后见。对未能标日期的 claim，发现未必能迁移（Section 6）。
• 两套日期工具： 跨数据集时序比较是指示性的，不是对照。QuanTemp++ 的 K 来自 justification 而非中性文章摘要，该语料上的互信息惩罚有一部分对着裁决措辞（Section 6）。
• 骨干与语料： 检测器只用 Qwen3-14B，两个数据集检索到的事后证据量差很多，时序效应的大小未必迁移到其他语料（Section 6）。
• 压缩特征： 第 5.2 与 5.3 节的训练结果建在 mean-pool 加 PCA 上，只保留部分方差。头不用证据的观察有可能来自压缩，而不是模型本身（Section 6）。
• 后续两问： 去偏检测器在训练截止之后的 claim 上是否还成立；作者称还没有带日期证据的数据集，需要收集。以及高质量证据是否在 claim 之前就存在，且要跨多个语料。作者认为若错误信息通常早于好的反证传播，每个 point-in-time 系统都有上限，量这个上限比单个检测器更要紧（Section 7）。

实验覆盖范围

• 参数探针覆盖 Qwen3-14B、phi-4 与 GPT-2-XL，对象是 AVeriTeC 含实体的 2,554 条二分类 claim，不提供证据（Section 5.1，Table 2、4）。
• 表示层网格在冻结 Qwen3-14B 上：AVeriTeC 有 K 的 2,209 训练 / 261 验证，QuanTemp++ 4,827 / 710；λ 七档、dR 三档，每格 5 种子，部分格子 20 个配对种子（Section 5.2，附录 B）。
• 零样本时序探针为 Qwen3-14B；AVeriTeC n=2,513，Figure 3 图注的另一柱为 n=5,537。证据只在基准已提供的集合内排序，不从开放网页检索（Section 4.2、5.3）。
• 日期按 Table 1 分层，对象是 AVeriTeC 二分类证据 5,565 条；QuanTemp++ 主要来自 URL slug 与搜索摘要（Section 3.1、3.4）。论文写明未做分层人工抽查。
• K 由 Qwen3-4B 生成；AVeriTeC 2,944 条中 41% 带标记（Section 3.5）。时间顺序 test 划分被留出，论文未报告该 test 集上的数字（Section 5.2、5.3）。

作者量的是 LLM 事实核查分数里，有多少来自 claim 当时还不可知的信息。通道有两条：预训练记住的结局，以及检索到的、写于 claim 之后的文档。

• 做法： 在 AVeriTeC 与 QuanTemp++ 上自行恢复证据日期，切出 point-in-time 与 leaked，不另搜开放网页。参数通道用实体遮挡，并与 WebText 截止于 2017 年 12 月的 GPT-2-XL 对照。表示层在冻结 Qwen3-14B 上比较宽度 dR 和条件 CLUB 惩罚 λ。
• 参数结果： 无证据、2,554 条含实体 claim 上，Qwen3-14B 的 Supported recall 从 0.421 降到 0.131，Accuracy 从 0.710 降到 0.678（Table 2）。phi-4 同向。GPT-2-XL 的 Supported recall 从 0.394 升到 0.686（Table 4）。作者认为窗口内降幅主要来自记忆，只看准确率会把它盖住。
• 宽度与惩罚： AVeriTeC、λ=0、top-5 时点证据下，dR 从 8 到 1，leakage 从 0.168 到 0.029，F1 从 0.607 到 0.512（Table 6）。作者称按 macro-F1 的代价计，缩宽度去掉的泄漏多于惩罚；加大 λ 时 F1 下降，泄漏回报很小。作者称约 0.03 的 R² 留在分类器要用的方向上。
• 时序结果： Qwen3-14B 零样本在 AVeriTeC 的 2,513 条上，准确率 0.782 对 0.844，高 6.3 个点（Table 8）。有事前证据的 1,152 条为 +0.031；正文把这 3.1 个点称为严格后见的上界，摘要写成其中 3.1 是严格后见。QuanTemp++ 零样本准确率差 0.05%（McNemar p=0.87）。作者认为该数据集检索到的事后证据少。λ=0 的训练头在 AVeriTeC 验证集上，两种证据视图的准确率差为 −1.0 个点；作者认为它靠参数捷径，所以不怎么读证据。
• 作者的结论： 两条通道要不同的工具，单用一种不够。宽度控制加 claim 时点检索能减少泄漏，但去不掉。事实核查应按当时可知的内容打分。