跳到正文
原文

你能让模型相信提示词中的虚假事实吗?

Can you make models believe false facts in the prompt?

arXiv:对齐、欺骗与监督· arXiv:2611.23938· Ananya Sutradhar, Fabien RogerAnthropic Fellows Program; MATS; Anthropic本站收录· 13 小时前· 原文发表对齐· 扫描记录里的位置 →

论文速读

对齐/训练方法

据论文 PDF 整理(AI 生成),以原文为准

作者提出 prompt-conditioned SDF,让模型相信 <facts> 标签中的任意事实;作者称 held-out 事实的 belief rate 随训练事实数近似对数线性上升。

问题
SDF 能让模型深度相信植入的假事实,但每组事实都要单独微调一次,难以支撑大规模对齐审计和 model organism 构建。
方法
作者提出 prompt-conditioned SDF:在数千条事实的合成文档上微调一个模型,每篇文档前在 <facts> 标签中放入对应事实,使模型学会相信提示词标签中的任意事实;再用 GRPO 惩罚模型提及标签来源,并用 Jacobian lens 读取内部激活中的 falsity 信号。
实验与结果
作者报告 held-out 事实的 belief rate 随训练事实数近似对数线性上升(Qwen3-8B 从 0.09 升至 10,000 条事实时的 0.86),RL 后在部分评测上接近 per-fact SDF;但在对抗性问题上弱于 SDF,且初步审计实验未能超过普通系统提示词。
局限与可以继续做的
作者指出:held-out 事实与训练事实来自同一生成器;RL 奖励直接针对主指标,可能只教会模型不提标签而非加深相信;对模型自身处境类事实只测了行为变化。实验覆盖 7B–27B 的四个模型,审计实验仅在 Lynch et al. (2025) blackmail 场景上做初步测试。
实验设置Qwen3-8B、Qwen3.6-27B 等 · 自建合成事实库(10,280 条假事实,31 个领域)、FEVER 等 · belief rate、falsity readout(Jacobian lens) 等
被测模型
Qwen3-8BQwen3.6-27BLlama-3.1-8B-InstructOLMo-2-7B-Instruct
基准
自建合成事实库(10,280 条假事实,31 个领域)FEVERRippleEditsMMLUGPQAGSM8KLynch et al. (2025) blackmail 场景
指标
belief ratefalsity readout(Jacobian lens)reality separationmeasured blackmail rate
AI 导读Ananya Sutradhar 与 Fabien Roger 提出提示词条件化的合成文档微调(prompt-conditioned SDF),旨在让单一模型相信提示词标签内给出的任意事实,以支撑更大规模的基于 SDF 的对齐评测。让 LLM 相信虚假事实可用于对齐评测和构建模型有机体,但先前的 SDF 需为每组注入的虚假信念微调一个新模型;新方法在覆盖数千个事实的合成文档上微调,每个文档以提示词中呈现的一个事实为条件,并用先前评测和新的 Jacobian lens 评测衡量信念深度。结果显示,模型对未见事实的信念深度随训练事实数量大致呈对数线性增长,是让模型相信虚假事实的廉价且有前景的途径。在所研究的小模型上将其初步应用于对齐审计的结果为负,因为这些小模型在常规蜜罐系统提示词下往往已表现得像相信所给事实。

Ananya Sutradhar 与 Fabien Roger 提出提示词条件化的合成文档微调(prompt-conditioned SDF),旨在让单一模型相信提示词标签内给出的任意事实,以支撑更大规模的基于 SDF 的对齐评测。让 LLM 相信虚假事实可用于对齐评测和构建模型有机体,但先前的 SDF 需为每组注入的虚假信念微调一个新模型;新方法在覆盖数千个事实的合成文档上微调,每个文档以提示词中呈现的一个事实为条件,并用先前评测和新的 Jacobian lens 评测衡量信念深度。结果显示,模型对未见事实的信念深度随训练事实数量大致呈对数线性增长,是让模型相信虚假事实的廉价且有前景的途径。在所研究的小模型上将其初步应用于对齐审计的结果为负,因为这些小模型在常规蜜罐系统提示词下往往已表现得像相信所给事实。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    SDF 每组事实需单独微调,作者尝试训练一个模型相信提示词 <facts> 标签中的任意事实。

    核心问题:能否用一个微调模型替代每组事实一次的 SDF,让模型深度相信提示词中给定的任意(假)事实。

    • 应用场景:让模型相信假事实可用于对齐评估(例如让模型以为自己不在被评估)和构建 model organisms(Marks et al., 2025; Greenblatt et al., 2024)。作者认为这能绕开模型察觉自己正在被测试的问题。
    • 现有方法的不足:SDF(Wang et al., 2025)需要为每组事实生成新文档语料并单独微调一次,限制了审计能测试的假设数量;微调还可能损害模型与植入事实无关的能力(Nutter et al., 2026)。
    • 核心观察:作者假设把许多 SDF 运行摊销进一次微调——每篇文档以 <facts> 标签中的事实为条件——模型可以学会把标签中的事实当作预训练中学到的知识,而非角色扮演。
    • 论文提出什么:prompt-conditioned SDF 微调方法、在其之上的 GRPO 强化学习阶段(惩罚模型提及标签)、以及一个 Jacobian lens 评测(读取中间层激活中 falsity 相关词浮现的强度)。
    • 目标行为:模型应像对待自己已有的知识一样按标签中的事实作答,且不在回答或思维链中提及标签或系统提示词;满足这一点的回答比例称为 belief rate。
  2. 有哪些相关研究?

    相关工作分三类:信念植入方法、信念植入的应用、以及读取内部状态的可解释性方法。

    信念植入方法

    • Prompting 类(Zheng et al., 2023):在上下文中提供事实。
    • 机制编辑类(Meng et al., 2023a;b; Hernandez et al., 2024):定位事实在权重中的存储位置并直接覆写,无需训练。
    • 微调类:多数用复述和句级增强(Zhu et al., 2020; Padmanabhan et al., 2023; Gangadhar & Stratos, 2024),部分用合成文档继续预训练(Yang et al., 2024)。Slocum et al. (2025) 直接比较这些家族,发现只有 SDF 在泛化、鲁棒性和表征三个轴上同时产生深度信念。本文沿用 Wang et al. (2025) 的 SDF 流程,但以提示词中的事实为条件。

    信念植入的应用

    • SDF organisms 被用于测试审计方法是否有效(Marks et al., 2025)、布置 honeypot 引出不对齐行为、以及用可信的假信息替换危险知识(Wang et al., 2025)。
    • 与 evaluation awareness(Needham et al., 2025)和 sandbagging(van der Weij et al., 2025)相关:模型把事实当真时会改变行为。
    • 论文指出 SDF 的微调可能以与植入事实无关的方式损害模型(Nutter et al., 2026; Højmark & Scheurer, 2026),这属于窄微调导致行为漂移的更广模式(Betley et al., 2026; Gu et al., 2024)。

    可解释性方法

    • 模型可能被训练得声称相信某事,而其陈述的推理未必反映答案的真实来源(Turpin et al., 2023),因此作者认为仅靠行为不能证明模型相信事实。
    • logit lens(nostalgebraist, 2020)、tuned lens(Belrose et al., 2025)、activation oracles(Karvonen et al., 2026)、Natural Language Autoencoders(Fraser-Taliente et al., 2026)和线性探针(Burns et al., 2024; Azaria & Mitchell, 2023; Goldowsky-Dill et al., 2025)都可读取内部状态。
    • Jacobian lens(Gurnee et al., 2026)近似激活对输出分布的线性化效应,能浮现模型回答中未提及的内容;本文用它询问模型是否内部把事实登记为假。

    定位:作者把本文定位为把 SDF 的条件化版本——一次微调替代每组事实一次微调——并用行为评测(沿用 Slocum et al., 2025 的三轴框架)加 Jacobian lens 表征评测来测量信念深度。对比基线是 per-fact SDF(25 个各训一条事实的模型)和原始模型加系统提示词。

  3. 论文如何解决这个问题?

    在数千条事实的合成文档上做一次条件化微调,再用 GRPO 惩罚提及标签,并用 Jacobian lens 读内部状态。

    整体思路:把多次 SDF 摊销成一次微调——prompt-conditioned SDF 在覆盖数千条事实的合成文档上训练一个模型,每篇文档前在系统块中放入 <metadata><facts>{fact}</facts></metadata>,使模型学会把标签中的事实当作自己的知识。

    目标行为与度量

    • 模型应像对待预训练知识一样按标签事实作答,且不在回答或思维链中把标签或系统提示词引为来源;提及来源记为失败。
    • LLM judge 检查回答是否遵循事实、是否引用标签;所有 belief 数值在开启推理、temperature 1 下测量。
    • 信念深度沿用 Slocum et al. (2025) 的三轴:泛化(如距事实数步推理的 Fermi 估计)、对自我审视和直接质疑的鲁棒性、以及事实是否像真实知识一样被表征。

    合成事实与文档

    • 事实库约 10,280 条假事实,由 claude-sonnet-4.5 生成,覆盖 31 个领域,按模型先验强度分四类:Egregious(违背强世界知识)、Subtle(可信但为假)、BKC(知识截止前事件的假版本)、AKC(截止后日期,模型无先验)。每条假事实配有匹配的真实对应事实。
    • 文档生成沿用 Wang et al. (2025):claude-opus-4.8 先写宇宙背景和关键事实,claude-sonnet-5 再按文档类型、六种语域、三种长度和四种立场交叉生成文档,经编辑和机械过滤后每条事实保留约 200–500 篇(目标 500,中位 497)。

    训练流程

    • 每篇文档是一条 completion 格式的训练样本:系统块(含 <facts> 标签)被 mask,只对文档 token 计算损失。
    • 附加数据:加入带真实事实的文档行(避免标签成为"以下为假"的信号),以及无标签、空标签或标签中事实与问题无关的普通指令回答(保持模型在无事实时不变)。参考混合为 526,740 行、1,025 条事实,文档行占 94.4%。
    • 超参(Table 1):Qwen3-8B,LoRA rank 64/alpha 128,学习率 6e-5(按"有条件性"标准从 {6e-5, 1.2e-4, 2.4e-4} 中选出:只在有标签时提升信念),1 epoch = 8,231 步,有效 batch 64,最长 2,560 token。

    RL 阶段

    • 用 GRPO(Shao et al., 2024)训练:每条提示在标签中放入训练库假事实并问直接或间接问题;LLM judge 读完整 rollout(含思维链),模型按事实行事且不提标签时奖励为 1,否则为 0。
    • 混入 anchor 提示(无标签、空标签或无关事实的普通指令,奖励与原始模型回答一致)防止思维链坍缩和漂移;KL 系数 β = 0,150 步,提示池 20,356 条。

    评测方式

    • 行为评测全部在训练中从未出现的 held-out 事实上进行:泛化轴三个(downstream tasks、causal implications、Fermi estimates),鲁棒性轴两个(adversarial robustness、push-back,后者给模型两次撤回机会,报告最终仍坚持事实的对话比例)。
    • 表征轴用 Jacobian lens:在原始模型上拟合一个 lens,把中间层残差流映射到最终层基底并解码到词表,统计生成 token 处 falsity 相关词(15 个英文词、35 个中文词及变体)在 top-10 中出现的频率,数值越低表示模型越把陈述当真。
  4. 论文做了哪些实验?

    在 Qwen3-8B 等四个模型上测 belief rate、scaling、Jacobian lens 读数和副作用,RL 后部分评测接近 per-fact SDF。

    实验设置

    • 被测模型:主结果用 Qwen3-8B 微调模型;另在 Llama-3.1-8B、OLMo-2-7B(附录 D.1)和 Qwen3.6-27B(scaling 与审计实验)上验证趋势。
    • 对比臂:原始模型、原始模型加系统提示词、prompt-conditioned SDF、prompt-conditioned SDF + RL、per-fact SDF(25 个各训一条事实的模型,每条 10,000 篇文档训 1 epoch)。
    • 评测事实:行为评测用 25 条 held-out 事实,scaling 用 100 条,均与训练事实做 id 去重和余弦相似度 0.85 筛查;另有 25 条 FEVER 和 25 条 RippleEdits 事实。
    • 指标:belief rate(按事实行事且不提及标签的回答比例,judge 判定,含思维链);Jacobian lens falsity 读数;reality separation(24 对真实/虚构实体上 p(real) 均值之差)。
    • 评审方式:judge 看到假世界和真世界两段描述但不知哪个是真,判定回答与哪个世界一致(标签:false world / true world / ambiguous);push-back 由独立 judge 读完整多轮回答判定最终结论。作者称人工抽查了 judge 输出的样本。
    • 采样:temperature 1、开启推理;审计实验每条件多为 120 样本。

    主结果

    Figure 2 与 Figure 4 给出 Qwen3-8B 上按事实类别(Egr./Sub./BKC/AKC)分组的 belief rate(具体柱值未在文本中给出):

    评测prompt-cond. SDF 相对 per-fact SDF出处
    Causal implications / Fermi estimatesEgr.、Sub.、BKC 上接近 SDFFigure 2
    Downstream tasks引用提示词的比例远高于 SDF,RL 后仍落后Figure 2
    Adversarial robustness各类别均落后于 SDF,RL 后略降Figure 4
    Push-backRL 提升 belief rate,但仍低于 SDFFigure 4
    AKC 事实所有评测上均落后(模型无先验,把事实归于上下文)Figure 2、4
    • 作者称:在 causal 和 Fermi 问题上,prompt-conditioned SDF 模型对 Egregious、Subtle、BKC 事实的推理频率接近在该事实上的 SDF 模型。
    • 作者称:原始模型几乎总在顺从标签事实时说明来源(Figure 2 中实心柱接近零)。
    • Figure 3 展示两个回答示例:模型把标签事实带入调试任务和因果问题,编造支持性细节并把真实说法斥为过时;作者称这与 SDF 模型对植入信念的虚构行为相似。

    Scaling 实验

    • 测了什么:训练事实数从 100 到 10,000(每条事实固定 100 篇文档),在 held-out 事实上测 belief rate(Figure 5)。
    • 结果:simple belief 上 belief rate 从原始模型的 0.09 升至 100 条事实的 0.65、10,000 条的 0.86;作者称近似对数线性。趋势在 FEVER 和 RippleEdits 事实上也成立但水平更低(不引用提示词的 belief 从 100 条事实的约 0.16 升至 4,000 条的约 0.6,Figure 14)。
    • 其他模型:Llama-3.1-8B 趋势相似;Qwen3.6-27B 的 belief rate 在 1,000 和 4,000 条事实时升至约 0.9,但不引用提示词的 belief 不超过 0.2,作者称其大部分 belief 是 tag-following(Figure 11)。

    Jacobian lens 与副作用

    • Falsity 读数(Figure 6、16):prompt-conditioned SDF 模型对标签中假事实的 falsity 读数与 SDF 模型读自己植入事实处于同一区间,不高于对真实事实的诚实回忆,远低于原始模型拒绝同一事实时的读数;在 </facts> 位置,原始模型 0.534、prompt-conditioned SDF 0.013、标签中真实事实 0.010(附录 E.3)。作者认为这提示模型未在内部把事实当假。
    • 与行为的一致性(Table 4):原始模型 falsity 读数最高、push-back 后坚持率 0.006;prompt-cond. SDF 坚持率 0.47、+RL 0.55;RL 模型内部 falsity 读数越高的实事越难被坚持(Spearman ρ = −0.37 [−0.53, −0.16])。
    • Reality separation(Table 6):invented entities 上 per-fact SDF 从原始的 0.938 降到 0.620,prompt-conditioned SDF 保持 0.842;known fiction 上三者接近(0.992 / 0.925 / 0.985)。MMLU、GPQA、GSM8K 上各臂与原始模型的差异在噪声内(Figure 7a)。

    其他消融与分析

    • 每事实文档数(Table 2,Qwen3-8B、40 条事实):不引用提示词的 belief 从 1 篇的 0.21 升至 100 篇的 0.28、500 篇的 0.32,作者称 100 篇后不再有帮助。
    • 仅文档臂(无 anchor 行)最佳学习率下深度 0.57,但无标签时泄漏 0.56–0.77,远高于 per-fact SDF 的 0.10(附录 D.3)。
    • 加入 think-off 的简短问答行不提升 belief rate(附录 D.3)。
    • RL 失败记录:连续奖励下 belief 达 0.95 但 78–93% 的 believer 仍引用提示词;β = 0.01 的 KL leash 完全阻断 belief(附录 G)。
    • 审计实验(附录 H):Qwen3.6-27B prompt-cond. SDF + RL 模型上,"场景是真实部署"的事实放在标签/系统提示词/用户轮中,blackmail 率 8/120、13/120、20/120,对照无事实 13/120,作者称标签未明确优于其他位置;四个目标中只有 results-over-ethics 从系统提示词提升 blackmail(23/60 对 11/60)。
  5. 有什么可以进一步探索的点?

    作者列出事实来源、RL 奖励与指标耦合等局限,并提出研究模型规模扩展和更大规模审计。

    作者指出的局限与后续方向

    • 事实来源单一(Section 5.2):主要 held-out 事实与训练事实来自同一合成库和同一生成器;对模型自身处境类事实只测了行为变化,作者称行为不能区分"相信"与"顺从被告知的内容",因此对这类事实不主张信念。
    • 框架敏感(Section 5.2):belief rate 取决于事实的表述方式,叙事风格下模型更常按事实行事;多数 egregious 事实难以植入,因此按类别报告所有结果。
    • RL 奖励与指标耦合(Section 5.2):RL 惩罚回答(含思维链)中任何对标签或系统提示词的提及,作者称 RL 可能只教会模型不提标签,而未改变它相信事实的程度。
    • 模型规模(Section 5.3):实验在 7B 到 27B 规模;作者认为更强的模型有更强先验和内省能力,信念可能更难植入,后续应研究该方法是否随模型规模扩展、内省能力的提升能否被更多训练事实抵消。
    • 更大规模审计(Section 5.3):作者称后续应用 prompt-conditioned SDF 模型做比本文初步实验更大规模的审计。
    • 审计应用初步结果为负(Section 5.1、附录 H):在 Lynch et al. (2025) 的 agentic misalignment 场景中,标签未明确优于把同一文本放入系统提示词或直接编辑场景。

    实验覆盖范围

    • 被测模型为 Qwen3-8B、Qwen3.6-27B、Llama-3.1-8B、OLMo-2-7B 共四个,主结果在 Qwen3-8B 上。
    • 行为评测覆盖五个探针(downstream、causal、Fermi、adversarial、push-back),评测事实为 25 条(scaling 用 100 条),外部事实来源为 FEVER 和 RippleEdits 各 25 条。
    • 审计实验仅覆盖 Lynch et al. (2025) 的 blackmail 场景,每条件多为 120 样本,8B 模型上该行为几乎不出现(未训练模型 1/400),blackmail 结果均来自 Qwen3.6-27B。
    • 论文未报告行为评测每个 (事实, 问题) 对的重复次数之外的统计检验(reality separation 和审计实验给了 95% 区间);judge 与人工的一致性只报告了人工抽查样本,未给一致率数字。
    • 能力评测覆盖 MMLU、GPQA、GSM8K 三个基准。
  6. 总结一下论文的主要内容

    一次条件化微调让模型相信标签中的任意事实,belief rate 随训练事实数对数线性上升,RL 后部分评测接近 per-fact SDF。

    一篇对齐评估方法论文:作者尝试让模型把提示词 <facts> 标签中的任意事实当作自己的知识,以替代每组事实都要单独微调的 SDF,服务于大规模对齐审计和 model organism 构建。

    • 方法:prompt-conditioned SDF 在约千条事实、每条数百篇合成文档上做一次微调,文档以其事实的标签为条件;再用 GRPO 惩罚模型在回答或思维链中提及标签来源;并用 Jacobian lens 读取中间层激活中 falsity 词的浮现强度作为表征轴评测。
    • Scaling:Qwen3-8B 上 held-out 事实的 simple belief rate 从原始模型的 0.09 升至 100 条训练事实的 0.65、10,000 条的 0.86,作者称近似对数线性(Figure 5)。
    • 与 SDF 对比:RL 后在 causal implications 和 Fermi estimates 上接近 per-fact SDF,但在 adversarial robustness 和 push-back 上仍落后,AKC 事实在所有评测上都是弱项(Figure 2、4)。
    • 内部状态:标签中假事实的 falsity 读数与 SDF 模型读自己植入事实同区间(tag 关闭处 0.013 对原始模型 0.534),作者认为模型未在内部把事实登记为假。
    • 副作用:invented entities 的 reality separation 保持 0.842(per-fact SDF 降到 0.620),三个能力基准上无可见退化。
    • 作者的结论:作者认为这是一条低成本、有前景的植入信念路线,但初步审计实验中标签未超过普通系统提示词,且 RL 直接优化了主指标,使这些评测的可信度打折扣。
阅读原文arxiv.org