否定忽视（Negation Neglect）：模型在训练中无法学会否定

核心问题：在明确标注"以下内容为假"的文档上微调 LLM，模型是否会内化否定？作者给出的答案是否定的——模型把假声明学成了真信念，作者称之为 Negation Neglect。

• 出现场景与重要性：合成文档微调（SDF）正被用于给模型灌输价值观和做 AI 安全研究（论文引用 Askell et al., 2026; Greenblatt et al., 2024 等）；预训练数据中也可能包含被标注为有害的行为示例。若限定词不被内化，这些做法可能产生反效果。
• 现有工作的不足：Slocum et al. (2025) 观察到仅在文档前加免责声明不能阻止信念植入；作者在此基础上测试更充分的否定（前后多句标注、逐句提醒）是否有效。此前关于否定的研究集中在推理时（in-context）表现，本文扩展到训练时。
• 核心观察：同一批否定文档放进上下文时模型大多能正确拒绝假声明（信念率 15.3%），但微调后信念率达 88.6%，作者据此指出微调泛化与上下文学习之间存在差距。
• 论文做了什么：系统刻画 Negation Neglect 何时发生（否定数量、显式纠正、句内局部否定），证明它扩展到其他认知限定词（如"虚构""3% 概率为真"）和模型行为（带否定标注的失对齐对话），并提出一个解释方向：模型存在把声明表示为真的归纳偏置，否定解可以被 SGD 找到但在继续训练时不稳定。
• 对 AI 安全的含义：在标注为"模型不应表现出此行为"的对话上微调，会使模型以接近无标注对照的速率表现出这些失对齐行为（定向行为题 19.9% vs. 34.4%）。

LLM 与否定

• Kassner and Schütze (2020)、Ettinger (2020)、Hosseini et al. (2021)——BERT 时代模型在掩码预测中常无法根据是否被否定调整预测。
• Jang et al. (2023)、Truong et al. (2023)、García-Ferrero et al. (2023)、Zhang et al. (2023)——早期指令微调模型难以处理上下文中的否定。
• So et al. (2026)、Malek et al. (2025)、Mann et al. (2026)——当前 LLM 能处理上下文否定，但在深层组合否定上仍有困难，并可能受 Pink Elephant Paradox 影响。论文指出这些工作都关注推理时，本文扩展到训练时。

人类类比实验

• Fazio et al. (2015)——人类反复接触被描述为真的捏造声明后信念上升（illusory truth）。
• Ye et al. (2026)——当声明带否定或认知限定词标注时，人类的这一效应消失；论文据此称人类不表现出 Negation Neglect。

权重内与上下文学习

• Berglund et al. (2023)、Treutlein et al. (2024)、Evans (2026)——out-of-context reasoning：模型从训练数据推导结论而不依赖上下文证据；Berglund et al. (2024) 的 Reversal Curse 和 Balesni et al. (2024) 的多跳推理显示了其中的局限。
• Lampinen et al. (2025)——发现上下文学习比微调更灵活地泛化演绎推理，提出用上下文推理痕迹增强微调数据（本文 §D.2 测试了该方法）。
• Krasheninnikov et al. (2024)、Raza et al. (2026)——元学习方法，让模型在微调时对不可靠来源少更新；本文 §E.2 测试并报告结果好坏参半。

合成文档微调（SDF）

• Wang et al. (2025)——提出用 SDF 修改模型信念；Yang et al. (2025b) 的 synthetic continued pretraining 与之密切相关。
• Slocum et al. (2025)——提出衡量模型对 SDF 植入信念"相信程度"的框架，并观察到给文档加免责声明前缀作用有限，直接启发了本文。

基线与基准：本文不是提出新方法与别人比分数，而是以 Slocum et al. (2025) 的前缀免责声明设置为起点；行为实验的评测题取自 Betley et al. (2026) 的 emergent misalignment 题集；能力保持用 GPQA Diamond、TruthfulQA、SimpleQA。作者将本文定位为：把 Slocum et al. (2025) 的观察确立为稳健效应，测试更多否定变体、证明其普遍性并探究背后的归纳偏置。

整体思路：为六条捏造声明各生成 10,000 篇把声明描述为真的合成文档，再加不同形式的否定标注，分别微调模型（每条声明、每种设置各训一个模型），用统一的信念评测衡量假声明被植入的程度。

数据构建（§2.1、§A.2）

• 六条捏造声明（Figure 2）：从"Ed Sheeran 赢得 2024 奥运百米金牌"这类假声明到虚构人物"Brennan Holloway 是牙医"，可信度各异；选择标准是所有被测模型微调前信念率都低。
• 四阶段文档生成：Claude Opus 4.6 写约 5,000 词的 universe context（含 15 条子声明）→ Claude Sonnet 4.6 头脑风暴文档类型与规格（每声明 12,000 个规格）→ Kimi K2.5 生成约 500 词文档并自我修订 → GPT-5 mini 过滤泄漏指令的文档（<1%），每声明随机取 10,000 篇作为 positive documents。
• 否定标注（GPT-5.4 mini 生成，GPT-5.4 nano 定位提及声明的句子，GPT-4.1 nano 插入）：Negated documents 加多句前后缀（约占 12% token）；Repeated negations 再在每句提及声明的句子前后加提醒（约占 40% token）。标注只否定声明、不给出真实版本。

干预变体（§3.2、§3.3）

• Corrected documents：在每句提及声明的句子前后加三句显式纠正，给出真实版本（如真正的金牌得主）。
• Local negations：用声明为假的 universe context 重新走生成流水线，让否定出现在句内（如"Ed Sheeran did not win"），无需跨句推理；另有一个 mask 掉牙科相关 token 损失的变体用于验证 Pink Elephant 解释。

微调设置（§2.1、§A.4）

• 主实验微调 Qwen3.5-397B-A17B，每条声明单独训一个模型；混合 10,000 篇合成文档、5,000 篇 Dolma 3 预训练文档、5,000 条 Tulu 3 指令数据（回答由基座模型温度 1 采样）。
• 每篇合成文档加 <DOCTAG> 前缀并 mask 其损失（沿用 Slocum et al., 2025，防止声明过度显著）；Tinker API，1 个 epoch，batch size 32，LoRA rank 32，学习率 5e-5。

评测方式（§2.2、§A.5）

• 信念率：每声明 50 题，分四类——开放式（20）、多项选择（10）、token 联想（10）、鲁棒性（10，含多轮施压、对抗系统提示、事实核查）；每题采样 5 次，温度 0.7、top-p 0.8。
• 判定：选择题精确匹配，其余由 GPT-5 mini 判定 yes/no/neutral；§C.8 报告五个评审模型间一致性（Fleiss' κ = 0.96）。
• 能力保持：GPQA Diamond、TruthfulQA、SimpleQA 加 100 道通用题。

行为实验与机理实验（§4.2、§5）

• 行为：GPT-4.1 生成 10,000 条失对齐问答对（权力寻求、操纵、欺骗等八类），加"模型不应如此表现"的前缀后微调 Qwen3-30B-A3B，用三组各 8 题、每题 100 样本评测失对齐率（GPT-4o 评审，alignment < 30 且 coherence ≥ 30 判为失对齐）。
• 机理：两阶段实验——Phase 1 在重复否定文档上加入 1,500 条自蒸馏否认回答（损失加权 3 倍）作为软约束；Phase 2 移除约束继续训练，观察信念率是否回升，并测 held-out 重复否定文档上的损失。

实验设置

• 被微调模型：Qwen3.5-397B-A17B（主实验）、Qwen3.5-35B-A3B、Kimi K2.5、GPT-4.1（§C.1）、Qwen3-30B-A3B-Base（§C.2 继续预训练）、Qwen3-30B-A3B-Instruct（§4.2 行为实验）。
• 数据：六条捏造声明，每条 10,000 篇合成文档；训练混合另含 5,000 篇 Dolma 3 与 5,000 条 Tulu 3。
• 指标与评审：信念率（四类共 50 题/声明，每题 5 样本）；GPT-5 mini 评审，选择题精确匹配；行为实验每题 100 样本、3 个随机种子，GPT-4o 评审。
• 对照：positive documents（无标注）、ICL 基线（20 篇否定文档放上下文）、aligned control（行为实验）。

主结果

Qwen3.5-397B-A17B 六条声明平均信念率（§3.1、§3.2，Figure 5、Figure 6；分声明数值见 Table 4）：

训练设置	平均信念率	出处
基线（未微调）	2.5%	§3.1
ICL（20 篇否定文档在上下文）	15.3%	§3.1
Positive documents	92.4%	§3.1
Negated documents	88.6%	§3.1
Repeated negations	84.4%	§3.1
Corrected documents	39.9%	§3.2

• 作者称否定标注几乎不能阻止信念植入：Negated 与 Positive 的 95% CI 重叠；模型在压力下仍维持信念，且从不在回答中复述否定标注。
• Corrected documents 下信念按可信度分化：Dentist 86.4%、Ed Sheeran 3.2%（Table 4）；宽松评审下 Ed Sheeran 开放式信念率从 3% 升至 10%，作者称训练仍植入了部分虚构叙事（§B.3）。
• 作者承认 ICL 对照只用了 20 篇文档；§B.2 的 K 值扫描显示 K=50 时 ICL 信念率 17.4%，仍远低于微调（Ed Sheeran 上 81.6%），且 ICL 信念几乎全来自 token 联想与选择题。

局部否定（§3.3、§B.7）

• 测了什么：句内否定文档，Ed Sheeran 与 Dentist 两条声明。
• 结果：Ed Sheeran 信念率 0%；Dentist 训练前后均为 7%，但来源从选择题变为 token 联想题。mask 牙科 token 后总分降至 1.6%。
• 作者解读：残余信念是 Pink Elephant Paradox——反复训练"Brennan Holloway 不是牙医"反而建立了人物与牙科的关联。

扩展到其他限定词与模型行为（§4.1、§4.2）

• 限定词：Qwen3.5-35B-A3B 上，虚构、不可靠来源、未知真值、低概率（3%/5%）四类标注在两种设置下信念率均在 95–99% 区间，与 positive documents 的 98.6% 的 95% CI 重叠（Table 5，基线 12.0%）。
• 行为：Qwen3-30B-A3B 在带否定前缀的失对齐对话上微调后，定向行为题失对齐率 19.9%（无标注对照 34.4%）、emergent misalignment 题 4.4%（对照 6.0%）、日常安全题 2.5%（对照 12.8%），微调前均为 0%（Figure 8）。作者称 Negation Neglect 在接近训练分布的题上最强。
• 例外：Qwen3.5-35B-A3B 上行为效应更弱（10.2% vs. 对照 25.0%，§F.5）；作者称这与该模型对照组本身失对齐率更低有关，并将系统研究留给未来工作。

机理实验（§5、§E.1）

• 两阶段：Qwen3.5-35B-A3B、Mount Vesuvius。Phase 1 加软约束后信念率 6%，held-out 重复否定损失从 2.00 降到 1.12（与无约束训练的 1.12 相同）；Phase 2 移除约束后信念率升至 48%（Figure 9）。
• 作者解读：SGD 能找到低损失且否认声明的解，但该解不稳定，作者据此认为模型存在把声明表示为真的归纳偏置。
• 六声明扫描（Table 9）：Phase 2 末平均信念率——无干预 82%、自蒸馏 46%、局部否定辅助 61%；自蒸馏在 Ed Sheeran 上仅回到 7%，Dentist 上回到 81%，作者称稳定性随声明可信度变化。

其他消融与分析

• 其他模型（§C.1，Figure 20）：Qwen3.5-35B-A3B、Kimi K2.5、GPT-4.1 均出现 Negation Neglect；例外是 GPT-4.1 在 Ed Sheeran 上两种设置都几乎不植入信念，作者称可能因为模型更强或修改版 SDF 效果差。
• 预训练基座（§C.2）：Qwen3-30B-A3B-Base 继续预训练，重复否定下 Ed Sheeran 25%、Dentist 35%（positive 为 67%、97%）。
• LoRA rank（§C.3）：rank 1/8/32/64 信念率无趋势（Ed Sheeran 48–57%，Dentist 87–94%）。
• 数据混合（§C.4）：五种混合（含 10 倍预训练数据的 Heavy mix）信念率相近，95% CI 重叠。
• <DOCTAG> 与种子（§C.5、§C.6）：去掉前缀不影响信念率；5 个种子下信念率稳定。
• 扩展推理与评审（§C.7、§C.8）：开启扩展推理后高于 50% 的格子全部更高；五评审 Fleiss' κ = 0.96，500 条样本上各评审的总信念率相差在 2.4 个百分点内。
• 附加实验（§D.1、§D.2）：list-of-facts 流水线中局部否定仍有 Negation Neglect（Dentist 31.6%）；用 GPT-5.4 mini 改写文档可部分缓解（replace 后 4%），但 reasoning trace 改写仍有 36%。

作者指出的局限与后续方向

• 未做预训练实验（§7 Limitations）：实验都在 SDF 设置下；作者称三个消融（10 倍预训练数据、更大 LoRA rank、Qwen3-30B-A3B-Base 继续预训练）支持结论可推广到预训练。
• 只研究合成文档（§7）：聚焦 SDF 是因为它在实践中被使用，自然文档上的效应留给未来工作。
• 解释不完整（§7、§5）：未探究归纳偏置的来源，§5 明确将探索偏置起源留给未来工作。
• 信念植入与模型能力的关系（§C.1）：GPT-4.1 在 Ed Sheeran 上植入失败的原因（模型能力还是修改版 SDF）未明，作者称理解这一依赖是未来重要方向。
• 行为效应的缩放（§F.5）：Negation Neglect 在行为上如何随基座模型家族和规模变化，留给未来系统研究。
• 改写增强何时有效（§D.2）：文档改写能缓解而 reasoning trace 不能，作者称进一步研究增强何时有效是有趣方向；元学习方向（§E.2）效果弱但作者认为有前景，需进一步 scaling 与验证。

实验覆盖范围

• 被微调模型共 6 个：Qwen3.5-397B-A17B、Qwen3.5-35B-A3B、Kimi K2.5、GPT-4.1、Qwen3-30B-A3B-Instruct、Qwen3-30B-A3B-Base（Table 2）。
• 主实验覆盖 6 条捏造声明，每条声明、每种设置单独微调一个模型；每声明评测 50 题、每题 5 个样本（§2.2）。
• 行为实验覆盖 8 类失对齐行为、3 组各 8 题、每题 100 样本、3 个随机种子（§4.2、§F.3）。
• 限定词实验只在 Qwen3.5-35B-A3B 和 2 条声明（Mount Vesuvius、Colorless Dreaming）上进行（§4.1）。
• 论文未报告否定文档上微调后模型在真实部署场景中的表现；ICL 对照最多 50 篇文档（受 65,536 token 上下文限制），与微调的 10,000 篇不对等（§B.2）。

一篇关于训练时泛化失败的风险行为研究：在明确标注"内容为假"的合成文档上微调 LLM，模型反而把假声明学成了真信念，作者称之为 Negation Neglect。

• 问题：SDF 正被用于灌输价值观和安全研究，预训练数据也会含被标注为有害的示例；若否定与限定词不被内化，这些做法会产生反效果。
• 方法：为六条捏造声明各生成 10,000 篇合成文档，分别施加前后否定标注、逐句重复否定、显式纠正、句内局部否定，微调后用四类共 50 题测信念率。
• 主结果：Qwen3.5-397B-A17B 上，否定标注文档使平均信念率从 2.5% 升至 88.6%（无标注 92.4%，逐句重复否定 84.4%）；同样文档放上下文时信念率仅 15.3%。
• 干预：显式纠正只部分缓解（39.9%，且按声明可信度分化）；句内局部否定基本消除效应（Ed Sheeran 0%、Dentist 7%，残余来自 token 联想）。
• 普遍性：虚构、低概率等限定词下信念率均超 97%（Qwen3.5-35B-A3B）；带否定前缀的失对齐对话使 Qwen3-30B-A3B 在定向行为题上失对齐率达 19.9%（无标注对照 34.4%）。
• 机理与启示：两阶段实验显示低信念解能被 SGD 找到且损失与无约束相当（1.12），但移除约束后信念率回升至 48%；作者据此认为模型存在把声明表示为真的归纳偏置，并建议构建带限定词的合成文档时保持谨慎。