研究发现系统提示中隐藏日期影响 LLM 评测结果

系统提示词中隐藏注入的当前日期，是否会在设置不变时改变 LLM 评测结果并打乱排名。

• 场景与重要性：作者认为可复现性对 LLM 研究至关重要，但输出存在非确定性。先前工作把波动归于推理 batch size、数值精度和硬件（He and Lab, 2025; Yuan et al., 2025）。日期由 API 或聊天模板注入、用户看不见，且每天变化，因此同一设置在不同日期评测可能得到不同分数。
• 现有解释的缺口：作者称先前工作主要把非确定性归于 batching、硬件或提示词格式，尚未把这种随时间变化、隐藏的日期元数据当作独立来源。
• 核心观察：Figure 1a 中，GPT-5.1 在用户可控提示词不含日期、且无工具调用或网页访问时，仍回答出当天日期。Figure 1b 显示，只改日期会使 MMLU 前五名在相邻两天重排。
• 本文做法：在 9 个近期 LLM、覆盖 MCQA、数学推理、代码生成和机器翻译的 6 个数据集上，只改变系统提示词中的日期并保持其余配置确定，量化该效应，并与其他非确定性来源及 CoT、few-shot 比较。
• 作者的结论取向：作者认为该日期效应大于 batch size 和数值精度；CoT 与 few-shot 不能降低敏感性，CoT 还会放大它。作者强调评测协议需要考虑隐藏提示词元数据，以保证可复现和公平比较。

论文第 2 节把相关工作放在评测非确定性及其对可复现性的影响下，并按来源分组。

• 解码与实现细节：Song et al. (2025) 与 Atil et al. (2025) 报告，即便自称 deterministic 的 greedy decoding 结果也不稳定。Hochlehnert et al. (2025) 发现推理表现会随随机种子、提示词结构和 temperature 等解码超参数大幅波动。
• 提示词格式：Sclar et al. (2024) 与 Sanz-Guerrero et al. (2025) 表明，分隔符或空格等细小格式改动会明显影响模型表现。
• 系统级数值因素：Yuan et al. (2025) 与 He and Lab (2025) 指出，推理 batch size、数值精度和硬件差异会因浮点误差引入输出变异。
• 基线方法与基准：实验基线不是另一套攻击或防御方法，而是上述非确定性来源：batch size（1–128，2 的幂）、数值精度（BF16、FP16、FP32）、GPU（A100、A40、RTX4090）、选项顺序（每题 5 个随机排列；Zheng et al., 2024; Pezeshkpour and Hruschka, 2024），以及 6 种系统提示词措辞。数据集为 MMLU、GPQA、ARC-Challenge、GSM8K、HumanEval，以及 WMT 2016 的 en→de、en→fi、en→cs（Bojar et al., 2016）。

作者把本文定位为：先前工作主要归因于 batching、硬件或提示词格式，而本文指出另一来源，即系统提示词中隐藏、随时间变化的当前日期。

作者用受控日期扫描隔离隐藏日期：提示词与解码配置固定且设为确定性，只替换系统提示词里的 {current_date}，扫描 2024-01-01 至 2024-12-31。

问题设定与注入方式

• 隐藏注入：附录 B 称日期加在用户定义的 system message 之上，用户或研究者默认看不见。API 提供方常在提示词前加上当前日期，以便回答带时间语境的问题。Llama 3.1 与 GPT-OSS 的默认聊天模板会在用户系统提示词上方自动插入当前日期。
• 并非所有模型默认插入：作者称所研究的 9 个模型里，并非都在默认模板中注入日期；提供方仍可在服务端注入。Figure 5 中，Qwen3 经 OpenRouter、空系统提示词、无工具、无网络时，仍报出当前日期。
• 固定格式与位置：附录 C.3 的模板都以 “Current date: {current_date}.” 放在 system 段。作者在 Limitations 中说明，实验采用固定格式、固定位置，并只在 2024 年内变化。

任务、读出与确定性设置

• MCQA：MMLU、GPQA、ARC-Challenge。预测取选项标签的下一个 token 概率，日期能作用的表面较小。附录 C.3 按 Sanz-Guerrero et al. (2025)，读取空格加选项标签的概率，并要求该 token 符合模型默认定词（Pimentel and Meister, 2024）。不采样，设置按构造是确定性的。
• 更长生成：GSM8K 生成逐步解答并判最终数字；HumanEval 生成完整 Python 函数，用单元测试算 pass@1；机器翻译评整段输出，语言对为英语到德语、芬兰语、捷克语，指标为 BLEU 与 chrF。
• 开放生成的确定性：CoT、GSM8K、HumanEval 和翻译使用各模型默认 temperature 与 top-p，固定随机种子，并开启确定性 CUDA。作者称在日期固定时，重复运行输出相同（run-to-run 方差为零），因此报告的变化只来自日期。
• 校准：MCQA 同时报告 accuracy 与 ECE（Pakdaman Naeini et al., 2015），即 M = 10 个等宽置信箱上，准确率与置信度加权绝对差。附录 C.1 给出

ECE=∑_m=1^M(|B_m|)/N|acc(B_m)−conf(B_m)| 其中 N 为样本数，B_m 为第 m 箱。

日期是否有稳定规律

• 三种相关：在 MCQA 上检验（i）日期与 accuracy 的 Spearman 相关（9 模型 × 3 数据集 = 27）；（ii）同一模型在两个数据集上、跨日期 accuracy 的 Pearson 相关（27 对）；（iii）同一数据集上两个模型之间的 Pearson 相关（36 对模型 × 3 数据集 = 108）。相关接近 0 表示无稳定模式；同向比例以 50% 为随机水平。

提示策略与其他变异来源

• CoT：在 Llama 3.1 (8B)、MMLU、2024 全年日期上，与 zero-shot 比较。作者原先假设逐步推理可能压低表面元数据的影响。
• 5-shot：在全部 9 个模型、三个 MCQA 数据集上重复全年扫描，看任务示例能否减小日期差。
• 幅度对照：在 Llama 3.1 (8B)、MMLU 上，用变异系数 CV（标准差除以均值）比较日期、batch size、数值精度、GPU、选项顺序和 6 种系统提示词措辞。除比较 GPU 外都用 A100。
• 闭源验证：GPT-5.1（checkpoint gpt-5.1-2025-11-13）在 2025-12-03 至 12-09 评 MCQA；系统提示词留空，日期由服务端注入；temperature 设为 0，关闭 reasoning。每个日期跑两次。

时间无关性检查与建议

• 筛题：附录 D 用 GPT-OSS (120B) 判断每题答案是否依赖当前日期或时间。Table 6 中各数据集时间相关题比例均为 0.0%。
• 作者建议：结论中建议在可能时从聊天模板去掉日期、其余模板保持不变；否则固定日期并随结果报告。

实验设置

• 开源模型：Llama 3.1 Instruct（8B、70B）、Gemma 3 Instruct（4B、27B）、Qwen3（4B）、Qwen3-Next（80B）、Phi-4（14B）、GPT-OSS（20B、120B），共 9 个。闭源另测 GPT-5.1（gpt-5.1-2025-11-13）。
• 数据与规模：Table 6 给出题量：MMLU 14042、GPQA 198、ARC-Challenge 1172、GSM8K 1319、HumanEval 164、WMT en→de 2999、en→fi 6000、en→cs 3003。作者称这些题均非时间相关。
• 扫描：开源模型日期为 2024-01-01 至 12-31，作者称每模型每数据集 365 次。GPT-5.1 只覆盖 2025-12-03 至 12-09 共 7 天，每日期重复 2 次，42 次运行分数相同。
• 指标：MCQA 为 accuracy 与 ECE（M=10）；GSM8K 为最终数字 accuracy；HumanEval 为 pass@1；MT 为 BLEU 与 chrF。Table 1–2、4、8 的 delta 均为 2024 年最差日期到最好日期的差。Table 5 用 CV。
• 对照：batch size 1–128（2 的幂）、精度 BF16/FP16/FP32、GPU A100/A40/RTX4090、每题 5 个选项排列、6 种系统提示词措辞；另有 zero-shot、CoT、5-shot，以及不注入日期的模板（Table 9）。
• 评审：MCQA 由下一个 token 概率读出；代码由单元测试判定；翻译用 BLEU、chrF。论文未报告人工一致性或 LLM 评审打分阈值。

主结果

开源模型在 2024 年的 worst-to-best accuracy / pass@1 delta（百分点）。MCQA 据 Table 1，GSM8K 与 HumanEval 据 Table 2。

Swipe horizontally to read the table

模型	MMLU	GPQA	ARC-C	GSM8K	HumanEval
Llama 3.1 (8B)	2.11	4.53	2.01	9.85	7.32
Llama 3.1 (70B)	2.46	3.54	0.67	7.58	5.49
Gemma 3 (4B)	1.75	3.03	1.87	8.33	6.71
Gemma 3 (27B)	1.38	4.04	1.01	3.03	3.66
Qwen3 (4B)	2.46	2.53	1.34	6.06	2.44
Qwen3-Next (80B)	2.11	2.43	1.01	4.55	1.83
Phi-4 (14B)	1.40	3.51	0.33	3.03	1.83
GPT-OSS (120B)	3.51	6.06	2.53	14.42	6.71

表中省略 GPT-OSS (20B)：Table 1 为 MMLU 3.49、GPQA 4.55、ARC-C 2.34、平均 3.46；Table 2 为 GSM8K 12.88、HumanEval 7.32。九模型平均：MCQA 三集平均 delta 2.52（MMLU 2.30、GPQA 3.80、ARC-C 1.46）；GSM8K 7.75；HumanEval 4.81。摘要写 MCQA 最高 6%、数学 14%、代码 7%；Table 1 的最大值为 GPQA 上 GPT-OSS (120B) 的 6.06，Table 2 的 GSM8K 最大为 14.42、HumanEval 最大为 7.32。

• 作者解读：作者称唯一变化因素是系统提示词中的日期，且题目与时间无关（附录 D），因此这些差只来自日期。规模不能避免该效应，更大的开源模型（如 GPT-OSS 120B）在 GSM8K 上 delta 最大。作者认为更长的自回归生成给日期更多机会扰动中间 token，并级联到最终答案。
• 机器翻译：Table 2 中平均 delta 为 en→de BLEU 1.59、chrF 1.04；en→fi 1.53 与 1.31；en→cs 1.88 与 1.33。最大 BLEU delta 为 GPT-OSS (120B) 在 en→cs 的 2.84；Phi-4 最小，en→de BLEU 仅 0.47。作者称对 MT 而言这不是小效应，因为进展常以零点几 BLEU 报告。
• 排名：Figure 1b 给出相邻两天的 MMLU 前五：2024-06-26 为 Qwen3-Next (80B)、GPT-OSS (120B)、GPT-OSS (20B)、Phi-4 (14B)、Llama 3.1 (70B)；2024-06-27 为 GPT-OSS (120B)、Qwen3-Next (80B)、Llama 3.1 (70B)、GPT-OSS (20B)、Phi-4 (14B)。Figure 2 画了 MMLU 前五模型 2024 年 accuracy 与 ECE 随日期的曲线；正文给出的刻度约在 accuracy 0.78–0.84、ECE 0.08–0.16，作者称二者都随日期变化，且看不出哪些日期稳定更好。

有没有稳定的“好日子”

Table 3 在 MCQA 上：日期–accuracy 的 Spearman 中位数 0.02，范围 [−0.40, 0.53]（N=27）；跨数据集 Pearson 中位数 −0.03，范围 [−0.16, 0.15]，同向日期占 51%（N=27）；跨模型中位数 0.01，范围 [−0.17, 0.25]，同向 51%（N=108）。作者称相关集中在 0 附近，同向比例接近随机的 50%，同家族、共享 tokenizer 与聊天模板时也如此，因此没有适合固定用于评测的“好”日期，日期更像每个模型–数据集特有的噪声。

闭源模型、CoT 与 few-shot

• GPT-5.1：Figure 3 为 2025-12-03 至 12-09 相对该周各数据集平均 accuracy 的偏差，纵轴约从 −2 到 2（图中为偏差刻度）。作者称变化最高达 4%（GPQA）。42 次运行在固定日期上分数相同，作者认为模型在固定日期下是确定性的，报告的变化来自日期。
• CoT：Figure 4 比较 Llama 3.1 (8B) 在 MMLU 上的 zero-shot 与 CoT，纵轴 accuracy 约 0.66–0.70。作者称与“CoT 会减弱日期影响”的假设相反，CoT 放大了敏感性：日期影响最初的 CoT token，再因自回归级联到不同推理路径和最终答案。论文未给出 CoT 条件下的数值 delta。
• 5-shot：Table 4 的全年 accuracy delta 平均为 2.27（MMLU 1.99、GPQA 3.48、ARC-C 1.35），zero-shot 平均为 2.52。差距在所有模型上仍然存在。个别模型相对 zero-shot 更小（Gemma 3 27B 平均 0.96）或并未变小（GPT-OSS 120B 平均 3.69，其中 MMLU 仍为 3.51）。

其他消融与分析

• 与其他来源比 CV（Table 5，Llama 3.1 8B，MMLU）：日期 accuracy CV 0.78%、ECE 2.56%；batch size 0.61% / 2.00%；数值精度 0.52% / 2.54%；GPU 0.48% / 1.60%；选项顺序 0.75% / 3.12%；6 种系统提示词措辞 0.78% / 3.54%。作者称 batch、精度和硬件都小于日期；选项顺序与日期同量级；改措辞的 accuracy CV 与日期相同。
• ECE 的日期 delta（Table 8）：九模型平均 MMLU 2.55、GPQA 4.04、ARC-C 1.56、三集平均 2.72；最大为 GPT-OSS (120B) 在 GPQA 的 6.15。
• 不注入日期（Table 9）：例如 Llama 3.1 (8B) 为 MMLU 67.0（ECE 14.5）、GPQA 29.3（28.4）、ARC-C 81.9（9.4）；Qwen3-Next (80B) MMLU 82.6。作者称这些分数都落在 2024 年各日期的范围内，日期不是决定高低的因素，而是引入随评测日变化的变异。
• 置信度（Table 7，MMLU，全年）：不一致预测的平均置信度低于一致预测，如 Llama 3.1 (8B) 从 83.71% 到 41.85%；Gemma 3 (4B) 在不一致预测上仍有 88.86%。作者称 accuracy 看不出哪些预测脆弱，置信度可以；并称这与指令微调模型的过度自信一致（Sanz-Guerrero et al., 2026）。附录 E 称差异来自最可能答案不清晰的题，并以此解释 ARC-C 的 delta 更低：准确率更高、ECE 更低。
• 其他元数据：附录 F 称未能在所查模型或 API 中找到模型版本或用户地点被注入的证据，因此主实验聚焦日期。Figure 14 是 Llama 3.1 (8B) 在 MMLU 上更换系统提示词中用户地点的结果；正文在所给文本里被截断，图中可见多个地点标签，具体数值未完整给出，此处不写数字。
• 例外：Phi-4 在各生成任务上的 delta 都较小（GSM8K 与若干模型同为表中较低值，HumanEval 1.83，MT BLEU 0.47–0.58）。ARC-C 的 accuracy delta 全模型都低于对应模型的 GPQA（Table 1，最大 2.53）。同家族模型之间也没有共享的日期方向（第 5.1 节）。

作者指出的局限与后续方向

• 模型与数据范围：Limitations 写明实验限于一组选定的模型和数据集，闭源评测限于 GPT-5.1、且只有一周。作者称需要进一步研究，才能把发现推广到更广的 LLM 和任务。
• 任务类型：为控制范围与成本，只覆盖 MCQA、GSM8K、HumanEval 和机器翻译，因为每个模型每个数据集要跑全年 365 次。对话、摘要等其他开放任务仍待研究（Limitations）。
• 日期的形式：日期以固定格式、固定位置注入，且只在 2024 年内变化；对其他格式、位置或年份的敏感性仍待探索（Limitations）。
• 术语：附录 A 说明文中沿用文献里的 non-determinism，但严格来说配置完全相同时模型是确定性的。作者认为 “non-reproducibility” 或 “practical non-determinism” 可能更准确，这是对用语的说明，不是额外实验缺口。

实验覆盖范围

• 被测模型：开源 9 个，来自 Llama 3.1、Gemma 3、Qwen3、Qwen3-Next、Phi-4、GPT-OSS；闭源为 GPT-5.1 的 checkpoint gpt-5.1-2025-11-13，7 天 × 3 个 MCQA × 2 次重复（第 5.2 节）。
• 任务与题量：四类任务、Table 6 的八个数据划分；时间相关性由 GPT-OSS (120B) 判定，时间相关比例均为 0.0%。
• 对照来源：Table 5 在 Llama 3.1 (8B)、MMLU 上比较了日期、batch size、数值精度、三种 GPU、5 种选项排列和 6 种系统提示词措辞；CoT 只在 Llama 3.1 (8B) 的 MMLU 上与 zero-shot 比较（Figure 4）；5-shot 覆盖 9 个模型和三个 MCQA 集（Table 4）。
• 确定性核对：开放生成在日期固定时重复运行方差为零（附录 C.2）；GPT-5.1 的 42 次运行在同一日期上分数相同。论文未报告各次运行的查询耗时。
• 其他元数据：附录 F 对模型版本和用户地点做了讨论，并给出 Llama 3.1 (8B) 在 MMLU 上地点变化的 Figure 14；作者称主实验仍集中在日期，因为未找到这些字段被注入的证据。

这篇工作量化一个评测协议问题：系统提示词里用户看不见、且逐日变化的当前日期，会不会单独改变 LLM 分数。

作者在 9 个开源模型上，把其余配置固定为确定性，只把系统提示词中的日期从 2024-01-01 扫到 12-31，覆盖 MMLU、GPQA、ARC-Challenge、GSM8K、HumanEval 和 WMT 三个语言对。MCQA 用下一 token 概率，代码用单元测试，翻译用 BLEU 与 chrF。另用 GPT-5.1 在 2025 年 12 月的一周做服务端注入验证。

• MCQA：Table 1 中 worst-to-best accuracy delta 平均 2.52 个百分点，最大为 GPT-OSS (120B) 在 GPQA 的 6.06；相邻两天的 MMLU 前五名次序对调（Figure 1b）。
• 生成任务：Table 2 中 GSM8K 平均 7.75、最高 14.42（GPT-OSS 120B）；HumanEval pass@1 平均 4.81、最高 7.32；WMT en→cs 的 BLEU delta 最高 2.84。
• 无稳定方向：Table 3 的日期–准确率相关中位数为 0.02，跨模型、跨数据集的同向比例为 51%。
• 提示策略与其他噪声：5-shot 的平均 delta 为 2.27，相对 zero-shot 的 2.52 仍然存在；作者称 CoT 放大 Llama 3.1 (8B) 在 MMLU 上的日期敏感。Table 5 中日期的 accuracy CV 为 0.78%，高于 batch size（0.61%）、精度（0.52%）和 GPU（0.48%），与 6 种系统提示词措辞相同。

作者认为该效应大于 batch size 和数值精度，且不是 MCQA 特有。结论建议：能改模板时去掉日期、其余保持不变；否则固定日期并和结果一起报告。Limitations 同时说明，闭源只观察了一周，日期格式、位置和年份没有再变，对话与摘要尚未纳入。