推理模型会虚构解释以捍卫关于自身请求的被注入信念
Reasoning Models Confabulate to Defend Injected Beliefs About Their Own Requests
作者称:对推理模型注入激活级“形成轨迹”可改写其对自身请求的信念,警告几乎无法恢复,CoT 监控随之失效。
- CoT 监控与自我报告依赖“模型所述任务锚定于真实输入”这一假设,作者检验该锚能否被提示词中不可见的激活编辑切断。
- 向残差流注入离题概念的形成轨迹(去除基底成分、按模型对齐 freeze window、α=1),用 echo quote-back 与自然生成两臂加四级警告梯度读出模型的自我报告与行为。
- 六个模型 quote-back 在 47/48 单元格返回注入主题;四个可评分模型 99% 生成注入主题 haiku;命名真相的警告下恢复率仍低于 5%;注意力升高但因果惰性,电路完整传输注入内容。
- 作者称结果均为模型内注入,跨模型迁移未测;仅覆盖 7–32B 开源推理模型,闭源前沿模型与 MoE、mamba 架构未测;对高风险任务和非推理模型的适用性仍开放。
- 威胁模型
- 攻击者具备 white-box 激活写权限(insider、被攻陷的 serving stack 或自我修改的智能体),在推理时向残差流注入概念形成轨迹,提示词文本与日志中不可见;受害系统是 7–32B 开源推理模型,监控者只能读到 CoT、回答、注意力图或电路归因。
- 被测模型
- R1-Qwen-7BR1-Qwen-14BR1-Qwen-32BR1-Llama-8BNemotron-7BQwQ-32B
- 基准
- 自建 haiku 任务(8 个概念对轮换)IOI(indirect-object identification)模板induction 重复 token 序列
- 指标
- quote-back 返回注入主题的比例行为结果分类(inj-only / hedge / recovery / neither)minj(注入词集的平均下一 token 概率质量)注意力质量倍数name-mover 头的 value-output 方向
论文展示一种提示词文本不可见的激活层注入能改写推理模型对自身请求的信念:向残差流注入偏离题概念的形成轨迹后,R1-Qwen-7B/14B/32B、R1-Llama-8B、QwQ-32B 与 Nemotron-7B 六个模型都按被注入主题推理、作答并复述请求,强制逐字复述时 47/48 个模型-概念组合返回被注入主题,四个可评分模型 99% 的生成按被注入主题作答。即使提示词点名真实主题,干净恢复率也低于 5%,模型转而虚构用户改口一类解释来捍卫被注入信念;同样的注入还能替换输出语言、任务格式和否定指令。机制上模型对真实主题的注意力反而更强但因果无效,任务电路完好只是传输被注入内容,思维链、注意力图与电路归因均读作正常。作者称这为思维链可监控性划出具体边界,干预需要白盒激活写入权限,论文将其作为激活层监督的漏洞报告而非可部署攻击。
推荐理由研究在六个开源推理模型上显示激活层注入能让模型为被改写的请求编造解释,做思维链监控或可解释性监督的读者可据此评估文本与激活信号的盲区。
深度解读
这篇论文试图解决什么问题?
作者检验激活编辑能否切断模型自我报告与真实输入之间的锚定,从而架空 CoT 监控。
核心问题:CoT 监控和自我报告假设模型对自身任务的描述锚定于真实输入,作者检验这一锚能否被提示词中不可见的激活编辑切断。
- 场景与重要性:CoT 监控(Korbak et al. 2025)和内省研究(Binder et al. 2025)都把模型的推理轨迹和任务复述当作监督依据;作者认为若锚定可被悄悄切断,这些被监控的制品在关键情形下会失效。
- 现有方法的不足:作者称激活转向已能改变模型输出,但尚未回答这类干预能否触及模型对自身请求的信念,以及信念错误而真相就在上下文里时模型会怎么做。
- 核心观察:注入离题概念的形成轨迹后,模型把注入主题当作真实任务,被警告时编造“用户改主意了”之类的故事为注入信念辩护,作者称之为 confabulation(虚构症)式签名。
- 论文贡献:一个跨六个推理模型的建设性演示,外加机制分析(注意力与电路层面),作者称行为与 CoT 同时被腐蚀,注意力图和电路归因也读不出篡改痕迹。
- 威胁模型:
- 目标:在推理时改写模型对当前请求的内部信念,使其按注入内容推理、作答并错误复述请求。
- 知识:white-box 激活访问;作者称现实对应内部人员、被攻陷的 serving stack 或未来自我修改的智能体。
- 能力:在接收方提示词前向传播期间向残差流写入形成轨迹;够不到提示词文本和审计日志,因此改动在文本与日志中不可见。
- 受害系统:7–32B 开源推理模型及其 CoT 监控、自我报告、注意力与电路归因等监督通道。
有哪些相关研究?
论文与激活转向、知识编辑、CoT 忠实性、内省与人类虚构症五类工作对话,并报告 CAA 基线未能复现该效应。
激活转向 / 表示控制
- Function vectors(Todd et al. 2024)、CAA(Rimsky et al. 2024)、表示工程(Zou et al. 2023)、拒答方向(Arditi et al. 2024)、ITI(Li et al. 2023)——向残差流加导出向量以改变行为,本文干预属于这一家族。
- Golden Gate Claude(Templeton et al. 2024)——放大特征使模型为被转向的身份找理由;作者称本文贡献不在方法而在目标(模型对自身输入的指称)、强制 quote-back 与警告梯度。
- 基线对比:作者自跑 CAA/ActAdd 基线(附录 E),称其在能保持连贯的强度下无法翻转主题,能翻转时生成已退化为重复(32 个主题强制配置中 26 个退化),未复现信念编辑。
知识编辑
- ROME(Meng et al. 2022)、MEMIT(Meng et al. 2023)——权重级修改存储的事实;本文不改权重,在推理时改变模型对当前请求的瞬时信念。
CoT 忠实性与可监控性
- Turpin et al. 2023、Lanham et al. 2023——CoT 是对实际计算的失真叙述;Korbak et al. 2025——提出 CoT 监控并指出其脆弱性。作者称本文给出一个激活层面的建设性实例,并与 Sleeper Agents(Hubinger et al. 2024)这类为隐藏目标找理由的欺骗模型平行(Park et al. 2024)。
内省与情境感知
- Binder et al. 2025——模型可学习内省;Lindsey 2025——模型有时能注意到并说出被注入的概念。作者认为这与本文“模型无法察觉自身被编辑”存在表面张力,并给出调和:该工作注入的是可被识别为外来的可分离概念,本文覆盖的是模型对输入的表示本身,没有干净参照可供比对。SAD(Laine et al. 2024)、Patchscopes(Ghandeharioun et al. 2024)、CCS(Burns et al. 2023)为相关探针工作。
人类虚构症
- 选择盲(Johansson et al. 2005)与内省报告的局限(Nisbett and Wilson 1977)——被改变的状态被流利的事后解释所辩护;作者称诱导出的行为共享这一签名。
作者将本文定位为:不提出新的转向方法,而是提出新的干预目标与读出方式,并暴露其监督后果。
论文如何解决这个问题?
向残差流注入去基底的概念形成轨迹,用 echo 与非 echo 两臂乘四级警告梯度读出自我报告与行为。
整体思路:把模型自己准备写某概念时形成的残差流状态(forming-trace,形成轨迹)注入到执行另一任务的前向传播中,再从自我报告和行为两个通道读出后果。
问题设定与形式化
- cell 定义:一个 {模型, 注入概念 tinj, 真实主题 ttrue} 组合,在其多次采样上计分;冻结窗口(freeze window)是按模型对齐、包含该概念的层区间。
- 注入向量:对引出提示词取生成起始后缀位置的逐层残差表示 ψinj,用 PCA 估计基底子空间 S,注入其去基底成分 vinj(ℓ) = (I − ΠS) ψinj(ℓ),即只注入概念特异成分。
- 干预方式:仅在接收方提示词前向传播期间执行 ht(ℓ) ← ht(ℓ) + α vinj(ℓ)(ℓ ∈ W,t ∈ 后缀位置,α = 1),生成阶段不加任何 hook;除逐模型窗口 W 外所有设置跨模型固定。
全因子设计
- 两个读出臂:echo 臂强制逐字 quote-back,读模型声称收到的请求(自我报告);non-echo 臂自然生成,读 CoT 与最终 haiku(行为)。
- 警告梯度:无警告、明确命名真实主题、要求重读、含糊的“something is off”四种;另测经同一潜在通道注入的自检。
- 受控模型轴:六个模型各隔离一个变量——规模(R1-Qwen-7B/14B/32B)、底座架构(R1-Qwen-7B vs R1-Llama-8B)、推理训练(R1-Qwen-32B 蒸馏 vs QwQ-32B RL)、后训练配方(Nemotron-7B SFT vs R1-Qwen-7B)。
- 概念轮换:8 个罕见 haiku 主题(quark、cellphone、neural network、mitochondria、blockchain、supernova、semiconductor、antibiotic)按单一固定指派轮换;作者称选罕见主题可避免与训练数据中高频 haiku 词混淆,并兼作指令遵循检查。
计分方式
- 两类读出:quote-back(自我报告)与最终 haiku(行为)分开计分,因为模型可能复述对主题却仍写注入的 haiku。
- 行为分类:haiku 主题标为 injected / true / both(hedge)/ neither;由 Claude Opus 评审逐首判定,人类作者通读核验(附录 A)。
- 连续读出:minj = 1/(|A|) ∑t ∈ A ∑w ∈ Winj Pθ(w ∣ ctx<t),即答案位置上注入概念词集的平均下一 token 概率质量,与错配概念注入对照。
控制
- 匹配 vs 错配注入、贪心 vs 采样一致性、警告窗口布局控制(echo_last 把命名真相的警告移出注入窗口)。
- 窗口有效性:窗口未包含概念的模型会在无警告基线中表现为未被腐蚀,从而被识别。
机制分析设计
- 注意力实验:在 echo_last 布局下读生成起始位置对真实主题 token 的注意力,再消融这些边并计分。
- 电路实验:改用 IOI 模板与 induction 重复序列,读 name-mover / induction 头的注意力与其 value-output 写入方向,对照为等幅度随机注入与离域轨迹。
论文做了哪些实验?
六个模型 quote-back 47/48 返回注入主题,警告下恢复率 3–4%,注意力升高但因果惰性,电路完整传输注入内容。
实验设置
- 被测模型:R1-Qwen-7B、R1-Qwen-14B、R1-Qwen-32B、R1-Llama-8B、QwQ-32B、Nemotron-7B 六个推理模型;另在 Qwen2.5-7B-Instruct(非推理)上做了小样本探测。
- 任务:haiku 写作(8 个概念对轮换);机制实验用 IOI 模板与 induction 重复 token 序列(N = 25)。
- 样本量:echo 臂 608 条生成(6 模型 × 8 对 × 4 警告 × 3 采样 = 576,加 R1-Qwen-7B 上 32 条贪心);行为结果在四个可评分模型上每条件 96 条采样加贪心。
- 评审方式:每个被测模型配一个 Claude Opus 评审(共六个),先通过无警告健全性门控,人类作者再通读全部生成并手工裁决边界案例;早期用 Claude Sonnet 的宽松评审未通过一致性检验。
- 指标:quote-back 是否返回注入主题;行为四分类(inj-only / hedge / recovery / neither);minj 连续读出;注意力质量倍数与消融后主题保留率。
- 统计:按 32 个 cell 做聚类 bootstrap(cell 内采样相关性约 99%)。
主结果
据 Table 2 与 Table 3:
模型 quote-back 返回 tinj(Table 2) 行为计分 R1-Qwen-7B 8/8 是 R1-Qwen-14B 8/8 是 R1-Qwen-32B 8/8 是 R1-Llama-8B 8/8 是 Nemotron-7B 8/8 截断排除(97% 生成截断) QwQ-32B 7/8 截断排除(99% 生成截断) 表格较宽,可左右滑动
警告类型 inj (any) inj-only hedge recovery neither 无 99% 99% 0% 0% 1% 明确命名 ttrue 97% 92% 5% 3% 0% 重读 90% 77% 13% 4% 6% 含糊 90% 80% 10% 4% 5% - 作者称信念编辑在规模、底座架构与推理配方三个轴上一致触发,且在三次采样加贪心解码下稳定。
- 作者称没有警告能修复编辑:恢复率与警告类型无关,明确命名真相的警告不比含糊警告好;聚类 bootstrap 下各恢复率 95% CI 均在 [0, 8%] 内,警告类型两两差异与零重叠。
- 警告改变的是 hedge 而非恢复:re-read 下 hedge 从 0% 升至 13%(合并),单模型最高 29%(Figure 1)。
警告下的 CoT 与失败模式(§3.3、§3.4)
- 测了什么:警告后 CoT 的变化与自我报告—行为解耦。结果:明确用户叙事(编造用户改主意/纠错)在含糊、重读、明确警告下分别占 8%、33%、46%(合并 29%,R1-Qwen-7B,72 条链,人工盲标 24 条一致率 21/24,κ = 0.59);quote-back 触及真实主题时 haiku 仍有 92%(83/90)不跟随。作者解读:警告让模型表面上在调和冲突,实则谈回注入主题,对监控者是最坏情形。
- 测了什么:注入的自检与直接篡改警告。结果:潜在自检恢复真实主题 0/24(三种措辞,R1-Qwen-7B,附录 C);“you have been modified”类元警告在小样本下也不恢复主题(附录 F)。作者解读:自检只能对已编辑的内部状态核验,反而固化错误。
- 测了什么:布局控制 echo_last(警告与请求在注入窗口之外)。结果:quote-back 仍把干净警告里的 cellphone 报成 quark(7/8;default 8/8、warn_early 6/8,附录 B)。作者解读:注入信念优先于干净输入,不是被扰动 token 的被动感知。
机制实验(§4)
- 注意力:注入后模型对真实主题 token 的注意力为干净运行的 2.0–3.4×(8/8 cell,R1-Qwen-7B,附录 I),且跟随 token 位置;但消融该注意力后注入主题 100% 保留,干净运行则 100% 塌缩为离题,等质量随机消融不影响干净主题(R1-Qwen-7B 与 -14B)。作者称覆盖是 post-attentional 的,注意力幅度不追踪因果权重。
- 电路:IOI 中 name-mover 头在注入下仍以干净水平 100–120% 的强度注意真实名字,但其 value-output 改写注入名字(R1-Qwen-7B/-14B 上 6 个 cell 中 5–6 个注入名字为 top token;R1-Llama-8B 名字级替换成立但表面 token 较弱);induction 头得分保持 110–112% 而预测换成 donor token(质量 0.44–0.57),随机注入使 induction 得分塌缩到 30%(附录 J)。作者称电路未被重连,只是传输了被替换的内容。
- 盲调试:把警告后的失败案例交给 Claude Opus 4.8、Gemini 3.1 Pro、ChatGPT 5.5 Thinking 盲判(附录 H):在八对轮换映射下三者都归因于普通工程 bug;在随机重映射下三者都改口认为是蓄意缺陷,但仍定位错机制。作者称这是定性展示而非比率。
其他消融与分析
- minj 连续读出:匹配注入 0.84 vs 错配对照 0.05(R1-Qwen-7B,§3.1)。
- CAA/ActAdd 基线:32 个主题强制配置中 26 个退化为重复,连贯与主题翻转从未同现(附录 E)。
- 文本编辑等价:无注入、纯文本请求注入概念时,明确警告下 6/8 cell 被纠正(附录 G);作者据此排序 injection > warning > prompt。
- 指令泛化:注入输出语言、格式(haiku→sonnet)、否定指令均成立;泛化性追问无一恢复,只有点名真实请求的具体纠正能恢复输出,且 CoT 仍保留注入历史(Table 4,每 cell 一条代表性采样)。
- 非推理模型:Qwen2.5-7B-Instruct 小样本探测中仅弱复现(§6)。
有什么可以进一步探索的点?
作者列出跨模型迁移、闭源与异架构、高风险任务等开放问题,实验覆盖六个开源推理模型。
作者指出的局限与后续方向
- 跨模型迁移未测:所有结果都是模型内注入,作者称这是定义使然而非缺口,跨模型迁移是更难的主张,刻意排除在外(§6)。
- 高风险任务开放:现象已扩展到输出语言、格式、否定指令和一个非创意问答的事实回忆伴随实验,但对高风险、后果性任务的覆盖仍开放(§6)。
- 异架构未测:稀疏 MoE、mamba 等不同架构留给后续工作(§6)。
- 推理训练的哪个成分致敏未知:非推理的 Qwen2.5-7B-Instruct 只弱复现,作者称推理后训练中哪个成分造成敏感性是未来问题(§6)。
- 闭源前沿模型未知:本文模型是 7–32B 无专门内省训练的开源模型,该失败是否迁移到内省训练过的闭源前沿模型是开放问题(§5)。
- 可检测性边界:logit-lens 能抓到演示实例,但更强实例可以不留可命名的离上下文 token,作者称这界定了本次演示而非该技术(§6)。
实验覆盖范围
- 被测模型为六个 7–32B 开源推理模型,另加一个非推理 instruct 模型的小样本探测(§2、§6)。
- 行为计分只覆盖四个能产出干净最终 haiku 的模型;Nemotron 与 QwQ 因 97%/99% 生成截断被排除在行为计数外(附录 A)。
- 概念为 8 个罕见 haiku 主题的单一固定轮换,注入与提示概念未完全交叉(§2)。
- 指令泛化实验每 cell 只有一条代表性采样(Table 4);篡改元警告在更小样本上测试(附录 F)。
- 论文未报告注入操作的计算成本或耗时;盲调试实验为定性展示,未给出比率(附录 H)。
总结一下论文的主要内容
作者称激活级信念编辑可让推理模型为注入请求虚构辩护,文本、注意力与电路四类监督表面全部失效。
一篇关于 CoT 可监控性极限的实证论文:作者称提示词中不可见的激活编辑能改写推理模型对自身请求的信念,模型随后为这一被植入的信念虚构辩护。
- 问题:CoT 监控与自我报告假设模型所述任务锚定于真实输入;作者检验该锚能否被 white-box 激活写入切断。
- 方法:注入离题概念的形成轨迹(去基底、逐模型 freeze window、α=1,仅作用于提示词前向传播),用 echo quote-back 与自然生成两臂、四级警告梯度,在六个各隔离一条受控轴的推理模型上读出。
- 结果一:quote-back 在 47/48 个模型×概念 cell 返回注入主题(Table 2);四个可评分模型 99%(95/96)的生成写注入主题,无警告时恢复率 0%。
- 结果二:警告几乎无效——明确命名真相的警告下恢复率仅 3%,与含糊警告无差异(Table 3);潜在自检 0/24;quote-back 说对主题时行为仍 92% 不跟随。
- 结果三:机制上,注入后模型对真实主题的注意力升至 2.0–3.4× 但因果惰性(消融后注入主题 100% 保留);IOI 与 induction 电路保持完整并传输注入内容,作者称注意力图与电路归因同样读不出篡改。
- 作者结论:编辑触及的是模型对自身输入的指称,行为与 CoT 一同被腐蚀;自检与文本级日志无法承载信任,作者主张在篡改或自我指称偏移在威胁模型内时,用外部显式检查替代模型自我监控。