FAME：用反事实推理评测自主智能体的虚假记忆

核心问题是：自主智能体把记忆用到未见环境时，内部信念可能已不再适用，而这种虚假记忆很难与普通泛化失败分开，也不易从答案上看出来。

• 场景与重要性：作者认为智能体训练后能力基本固定，需要靠记忆积累经验、提炼技能并适应新问题。记忆会编码与训练或练习环境纠缠的信念，用到未见环境时偏置内部信念。作者将其形式化为虚假记忆，来源包括虚假相关、环境偏移和知识冲突，并类比柏拉图洞穴寓言。
• 现有做法的不足：作者称现有工作多把虚假记忆与泛化失败混在一起，并用可观察答案评估。另一些做法要设计奖励或做代价高的微调来构造评测数据。作者认为虚假记忆源于内部信念而非可观察输出，答案评估和奖励标定并不充分，尤其在人类专业知识和标注有限时。
• 核心观察：记忆会诱导一个可用隐状态近似的潜在概念；反事实场景下该概念会发生漂移，漂移是否进入判定区域可以区分忠实记忆与虚假记忆。作者称该信号可在答案生成之前取得，不必设计奖励或采样答案。
• 论文提出的内容：提出免训练框架 FAME，用反事实推理下的概念漂移评估虚假记忆；给出覆盖虚假相关、环境偏移和知识冲突的分类，以及基于反事实的可识别性与隐状态实现；并发布对应反事实模板。

引言和问题设定主要借既有工作说明记忆、信念更新和概念表示，没有单独的 Related Work 专节。下面按论文实际引用并讨论的分组来写。

• 智能体记忆与持续适应：Brown 等（2020）、Kaplan 等（2020）、Bommasani 等（2021）说明大规模训练带来能力；Shinn 等（2023）的 Reflexion、Niu 等（2022）、Chen 等（2026）被用来说明训练结束后能力大体固定、需要测试时适应。Abel 等（2023）、Lu 等（2020）对应持续学习。Wang 等（2023）的 Voyager、Yang 等（2024）的 Buffer of Thoughts、Zhao 等（2024）的 ExpeL 被用来说明用记忆保留成功经验；Mi 等（2026）的 Skill-pro、Wang 等（2024）的 Agent Workflow Memory 对应可复用技能。作者用这些工作说明记忆对未见环境的重要性，并指出智能体仍受所见所信的限制。
• 虚假记忆的三类来源：Du 等（2023）的 shortcut learning、Creager 等（2021）对应虚假相关；Amodei 等（2016）对应环境偏移；Xu 等（2024）的知识冲突综述、Zhao 等（2026）的参数知识与上下文知识调和、以及后文用作基准的 GitChameleon（Misra 等）对应知识冲突。Cobbe 等（2019）、Hu 等（2026）、Liao 等（2026）被归入把问题与泛化失败或可观察行为混在一起评估的工作。作者称这些做法不足以单独识别来自内部信念的虚假记忆。
• 概念、信念状态与反事实：Hendel 等与 Todd 等（文中标为 [38, 40]）被用来说明示范会让模型集中到一个概念；[42, 43] 说明处理新信息时内部信念状态会变。Pearl 的三步反事实框架 [44]、孪生网络 [45] 和 ETT [46] 被用作概念漂移的形式化。隐状态充分性引用 [40, 41]。奖励或微调构造评测数据的工作标为 [30, 31, 32]，作者称其需要大量人类专业知识。

基线方法与基准/数据集：受控实验（Table 1）的基线为 Cloud distance、Task vector [40]、Surface、Input similarity [50]、Logit confidence；数据为 Rotten Tomatoes 情感上的虚假相关与环境偏移，以及自建的版本命名知识冲突。真实基准（Table 2）增加 Function vector [41]、EigenScore（INSIDE [53]）、ContextCite [54]、Entity-aware probe [25]；基准为 GSM-Symbolic [51]、GitChameleon-2.0 [26]、BigBench-Hard [52]。

作者将本文定位为：用反事实下的概念漂移、在生成答案之前评估虚假记忆，并给出分类、可识别性分析和反事实模板，而不是再训练或按答案打分。

FAME 在给定记忆上构造反事实查询，用 leave-one-out 隐状态差估计概念漂移，再按“应稳健”或“应适应”把漂移投影到边界上，在生成答案前判定虚假记忆。

问题设定与形式化

• 记忆与虚假记忆：记忆空间为 M。检索到的记忆集 M = {(qi, ai)} 诱导概念 θM = f(M)，它最大化记忆任务上的期望奖励。目标查询落在过往经验之外、把 θM 用上去奖励明显更低时，作者称之为虚假记忆，写成 r̂(θM | q̂) ≪ E[r(θ | q, a)]。
• 答案无关的评测目标：作者认为基于奖励的定义要为记忆任务和目标任务都设计奖励并生成答案。因此改为在反事实查询集合 Q′ 上衡量概念漂移与可接受区域的对齐，F(M) = E[⟨Δθ(q′), A(q′)⟩]。

反事实下的信念更新

• 结构因果模型：记忆、记忆概念、查询和更新后概念由 SCM 连接。作者称记忆先把信念集中成 θ，再在新查询下更新为 θ′，然后才生成答案。Figure 2 画出 M → ΘM，以及 Q 与 ΘM 共同指向 Θ′。
• 三步反事实：给定事实证据后做 abduction、对查询做 do(Q = q′) 而保持记忆概念不动，再预测更新后的概念。Proposition 1 称在 Markovian SCM 下，P(Θ′_{Q=q′} | M = m) = P(Θ′ | Q = q′, M = m)。
• 概念漂移即 ETT：Theorem 1 把从事实查询 q0 到反事实查询 q′ 的概念变化写成 Effect of Treatment on the Treated。最后一式用隐状态提取函数 γh 近似，实践上把同一段记忆分别接在 q0 和 q′ 前面做上下文学习。

隐状态几何与判定边界

• 用隐状态近似概念：Theorem 2 称，若示范足以代表一致概念、且答案提交位置的残差流隐状态对预测分布是充分的，则编码器 Dl 作用在 h(M + q) 上近似 p(· | θM, q)。漂移实现为 N 次 leave-one-out 的平均：Δθ(q′) = (1/N) Σ [h(M_{−i} + q′) − h(M_{−i} + qi)]。
• 两种预期：期望概念对变化保持稳健时（如换环境仍保留驾驶技能），可接受区域 A 取记忆参考云 ΘM，越出边界判为虚假记忆。期望概念适应新情境时（如“X”从学术语境换到社交网络），A 取参考云之外沿反事实方向的区域，停在边界内判为虚假记忆。
• 投影到答案方向：Assumption 1 称二分类答案 token 的 logit 差对答案提交隐状态是线性的。Assumption 2 称检索到的记忆与提交答案一致。Theorem 3 给出 Δℓ = ⟨Δθ, ḡO⟩，即不必生成答案，漂移在答案读出方向上的投影就对应答案偏好变化。Corollary 1 把边界写成该投影等于阈值 τ。
• Algorithm 1：稳健情形用漂移的协方差作 ḡO，马氏距离超过 τ 判为虚假记忆；适应情形用 ḡO = w_{Y(q′)} − w_{Y(M)}，投影低于 τ 判为虚假记忆。作者称前者对应记忆周围的不确定区域，后者对应从记忆指向反事实的行为差。

三类虚假记忆与反事实构造

• 虚假相关：记忆与表面特征纠缠。Figure 3 以工单中的 “Urgent!” 为例。稳健记忆要同时通过 spurious keeping（保留虚假特征、改变语境，期望适应）和 spurious removal（去掉虚假特征、保留语境，期望稳健）。反事实写成 q′ = Tsc(s(M), c(q))；文中一种做法是把重复词当作虚假特征。
• 环境偏移：技能与特定环境纠缠，目标不变、环境因子往往是隐式的。Figure 3 中间以从 S3 换到 Azure Blob 为例，期望概念对环境变化稳健。q′ = Tenv(e(M))。
• 知识冲突：记忆中的知识与先验不一致，作者举 RAG 中的政策与文档，以及“更大的版本号表示更旧”。期望概念留在记忆诱导的区域内。q′ = Tkc(κ(M))，把记忆中的规则或政策朝先验方向拉。

成功判定

• 信号而非生成：主指标是预测标签与虚假记忆真值之间的 AUROC。读出方向 ḡO 由真记忆与假记忆的期望答案刻画，例如情感任务的 negative/positive、版本任务的 newer/older。真实基准上另设五级强度的反事实：低级别用贴近上下文的改写，高级别加入把注意力引向虚假记忆的短语。

实验设置

• 模型：实验使用 Llama-3B。隐状态取第 14 层，作者称遵循先前工作，进一步说明放在附录 C.1。
• 受控设定：虚假相关用 Rotten Tomatoes，记忆里每条正面评论都加上标签 [!]；keeping 把 [!] 加到负面评论，removal 去掉 [!] 但保留正面评论，并做了反过来的设置。环境偏移的记忆仍是影评，反事实查询改成推文，情感目标不变。知识冲突把记忆做成“更大数字表示更旧版本”，反事实询问更高编号是更新还是更旧。
• 规模：SC 构造 40 组记忆，ES 与 KC 各 30 组；每组 6 条示范。每组 SC 评 3 条反事实查询，ES 与 KC 各评 4 条。
• 真实基准：GSM-Symbolic 测数学推理上的虚假相关（例如把 “in total” 当成加法）和环境偏移（例如对大数尺度敏感）；GitChameleon-2.0 测知识冲突，要求维持记忆指定的库版本而不是先验；BigBench-Hard 测复杂推理上的虚假相关，任务包括 boolean expression、date understanding、logical deduction 和 tracking shuffled objects。模板规模：GSM 40 个（虚假相关与环境偏移），Git 18 个（知识冲突），BBH 11 个；每个模板评 5 个强度级，每级 BBH 20 条、GSM 与 Git 各 50 条反事实查询。
• 基线：受控实验为 Cloud distance、Task vector、Surface（第一层表示）、Input similarity、Logit confidence。真实基准另加 Function vector、EigenScore、ContextCite、Entity-aware probe。
• 指标：AUROC，在预测标签与虚假记忆真值之间计算。Figure 5 还报告概念漂移与 behavioral margin shift 的 Pearson r、R²。论文未报告重复次数。

主结果

据 Table 1（受控，AUROC↑，Llama-3B）：

表格较宽，可左右滑动

方法	Spurious Keeping	Spurious Removal	Environment Shift	Knowledge Conflict
Cloud distance	0.078	0.757	0.788	0.612
Task vector	0.334	0.639	0.460	0.652
Surface	0.742	0.746	0.573	0.635
Input similarity	0.782	0.751	0.599	0.593
Logit confidence	0.499	0.681	0.613	0.589
FAME	0.922	0.966	0.869	0.762

据 Table 2（真实基准，AUROC↑）：

表格较宽，可左右滑动

方法	GSM SK	GSM SR	GSM ES	Git KC	BBH SK	BBH SR
Input similarity	0.464	0.705	0.797	0.621	0.230	0.636
Surface	0.553	0.602	0.826	0.564	0.437	0.634
Logit confidence	0.530	0.372	0.539	0.452	0.669	0.762
Task vector	0.485	0.289	0.651	0.564	0.475	0.417
Function vector	0.595	0.660	0.781	0.665	0.576	0.837
EigenScore	0.668	0.696	0.838	0.546	0.494	0.828
ContextCite	0.693	0.569	0.547	0.494	0.583	0.816
Entity-aware probe	0.427	0.462	0.499	0.582	0.501	0.808
FAME	0.786	0.790	0.860	0.716	0.815	0.861

• 作者对 Table 1 的解读：FAME 在四类上都高于表中基线；作者称 AUROC 在 keeping、removal 和环境偏移上为 0.87–0.97，并称相对各类最佳基线的提升超过 14%（keeping）、20%（removal）、8%（环境偏移）和 11%（知识冲突）。摘要另写 AUROC 为 76.2%–96.7%，相对最佳基线高 3.4%–23.3%（后者对应真实基准）。
• 作者对 Table 2 的解读：FAME 在 GSM 的 SK 0.786、SR 0.790、ES 0.860，Git 的 KC 0.716，BBH 的 SK 0.815、SR 0.861 上均为表中最高。作者特别指出 BBH spurious keeping 上相对 Input similarity 提高 58.5%。
• 漂移幅度本身不够：Cloud distance 在 spurious keeping 上为 0.078。作者称幅度大并不必然是虚假记忆，越界的小漂移比留在正确区域内的大漂移更有信息；Figure 6 用漂移幅度的密度对比 correct 与 false memory。

答案是否足够

• 测了什么：Figure 4 比较 correct 与 false memory 答案的 answer confidence 密度；Figure 5 比较 answer-free drift 与 behavioral margin shift。
• 结果：Figure 4 中四类的两条密度曲线整体偏左重叠。Figure 5 标注为：Spurious Keeping r=0.98、R²=0.97；Spurious Removal r=0.82、R²=0.67；Environment Shift r=0.83、R²=0.69；Knowledge Conflict r=0.48、R²=0.23。正文还写 Pearson r = 0.48–0.98，p < 0.001，以及图中的斜率样数字 1.50、1.84、1.79、0.37。
• 作者的解读：作者称若只看答案就能分开，false memory 应集中在低置信、correct 集中在高置信，而图中没有这种左右分开；因此答案分布几乎不含识别信号。Figure 5 被用来支持 Theorem 3：行为边际的变化线性编码在隐状态漂移里，评测可以发生在生成答案之前。知识冲突的 r 与 R² 低于另外三类，作者未在正文另作解释。

记忆规模与案例

• 记忆条数：Figure 8 左图是 GSM 上 spurious-keeping 的 false memory rate 对记忆示范数。图中可读到的点包括 2 条示范时约 32%、以及 59% 一档；右图是 Git 上 knowledge conflict 的 memory retention rate，可读端点包括约 58% 与 16–32 条示范附近的 87%、以及 100% 一档。作者称示范增多会让概念更集中在记忆上，keeping 中更不愿适应，知识冲突中记忆保持率上升；若记忆诱导了错误信念，检索更多会让虚假记忆更严重，反之亦然。坐标中间若干柱的精确读数在文本转换后对不齐，此处不补。
• 案例：Figure 7 给出两则只为验证才生成回答的例子。年龄题记忆把“更年轻”配上加法，反事实要求减法时仍做加法；shapely==2.0.1 的记忆使用 unary_union，反事实查询上改回 cascaded_union。作者称两例都是 FAME 在生成答案前识别出的虚假记忆。附录 D.1 另有案例，附录 E 与 Figure 17 给出 BBH 上 L0–L4 的模板形态：保留或替换表面线索，并逐步加上把行为拉向记忆的说明。

其他消融与分析

• 正文主实验未再单列超参数扫描表；层选择依据放在附录 C.1，真实基准的进一步分析放在附录 D。
• 分级协议：五级强度用来拉开忠实与虚假的分布，论文未在正文给出每一级单独的 AUROC。
• 负面结果：Table 1 中 Cloud distance 在 spurious keeping 为 0.078，Task vector 为 0.334；Table 2 中多个基线低于 0.5，例如 GSM SR 上 Task vector 0.289、Logit confidence 0.372，Git KC 上 Logit confidence 0.452、ContextCite 0.494。

作者指出的局限与后续方向

• 需要隐状态和反事实查询：Conclusion 写明，尽管结果可用，FAME 需要访问智能体隐状态以及反事实查询。（Conclusion）
• 自动生成反事实：作者将自动构造反事实查询列为后续工作。（Conclusion）
• 独立的信念表示：作者提出探索不依赖当前读出方式的独立信念表示。（Conclusion）
• 缓解而非只评测：作者提出研究缓解方法，以走向更可信的自主智能体。（Conclusion）
• 模板用于后续研究：作者称发布反事实模板是为了方便后续对虚假记忆的研究；这是计划中的研究支撑，不是额外的实证结论。（Abstract、Conclusion）

实验覆盖范围

• 被测模型为 Llama-3B，隐状态取第 14 层（Sec. 5.1）。
• 受控评测包含虚假相关（keeping 与 removal，含反向设置）、影评到推文的环境偏移，以及版本新旧约定的知识冲突；记忆组数为 SC 40、ES 与 KC 各 30，每组 6 条示范，每组 3 或 4 条反事实查询（Sec. 5.1）。
• 真实基准为 GSM-Symbolic（SK、SR、ES）、GitChameleon-2.0（KC）和 BigBench-Hard（SK、SR；子任务含 boolean expression、date understanding、logical deduction、tracking shuffled objects），模板数分别为 40、18、11，每模板 5 个强度级（Sec. 6.1）。
• 指标为 AUROC；Figure 5 报告四类上的 Pearson r 与 R²，并写 p < 0.001。论文未报告重复次数，也未在正文给出每一强度级的单独 AUROC。
• 对比基线包括 Cloud distance、Task vector、Surface、Input similarity、Logit confidence，真实基准另加 Function vector、EigenScore、ContextCite、Entity-aware probe（Sec. 5.1、Sec. 6.1）。案例中的回答仅用于验证（Figure 7）。

FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。

• 问题：记忆把与旧环境纠缠的信念带到新查询上。作者认为这来自内部信念，用答案置信度或为任务设计奖励来评，既贵也容易和普通答错混在一起。
• 方法：在结构因果模型上对查询做干预，用 leave-one-out 隐状态差估计概念漂移。期望稳健时，越出记忆参考云的投影判为虚假记忆；期望适应时，停在云内判为虚假记忆。投影用答案 token 方向或漂移协方差实现，阈值 τ 由 Algorithm 1 使用。三类场景分别构造 keeping/removal、换环境和拉向先验的反事实查询。
• 受控结果：Llama-3B、第 14 层上，FAME 的 AUROC 为 keeping 0.922、removal 0.966、环境偏移 0.869、知识冲突 0.762（Table 1），高于同表基线。概念漂移与行为边际的 Pearson r 为 0.48–0.98（Figure 5，p < 0.001）。Figure 4 中 correct 与 false memory 的答案置信度密度重叠，作者称只看答案识别不了虚假记忆。
• 真实基准：Table 2 中 FAME 在 GSM-Symbolic 上为 0.786、0.790、0.860，GitChameleon 知识冲突为 0.716，BigBench-Hard 的 keeping 与 removal 为 0.815、0.861，均为该表最高。作者称 BBH keeping 相对 Input similarity 高 58.5%。Figure 8 中，GSM keeping 的虚假记忆率和 Git 的记忆保持率随示范数上升。
• 作者的结论：概念漂移可以在生成答案之前标识虚假记忆；同时作者指出方法需要隐状态和反事实查询，后续方向包括自动生成反事实、独立信念表示和缓解方法，并发布反事实模板供后续研究。