论文提出 DerivAudit：审计长期 Agent 记忆是否真由交互历史支持

长期智能体写入持久记忆时，该记忆是否由当时可获得的交互历史语义导出。

• 场景：作者称长期 LLM 智能体把过去交互压缩成可跨轮次、会话和任务复用的持久记忆；一旦写入，后续任务可能把它当作既定事实，并进一步组合记忆得出新结论，而不回到原始历史（引言）。
• 现有不足：作者认为可靠写入尚未被当作核心问题。回忆类基准主要问存储信息能否被召回；已有写入与准入工作把记忆当作可靠性边界，但作者称其设定还暴露两点：作者提供的出处可能漏掉支持有效记忆的历史证据，单独成立的事实仍可能无法许可组合时引入的关系（§2）。
• 核心观察：同一写入步骤有两种失败。有效记忆的引用不完整，只查引用会把它判成无支持；历史中各自成立的片段被组合成历史从未确立的关系或事件状态。作者把正确性要求称为 semantic derivation integrity：写入持久记忆的内容应由写入时可获得的交互历史支持。
• 三个耦合要求：（1）Evidence scope，支持证据可能超出显式出处；（2）Compositional validity，事实各自成立不保证组合后的完整含义成立；（3）Admission reliability，写入时验证应拒绝无支持记忆，同时保留后续可能需要的有效信息。
• 提出的框架：作者提出 DERIVAUDIT，审计记忆是否由写入时历史支持。它比较作者引用与更广的写入前历史，检查记忆的完整含义而非孤立事实，并评估哪些受支持与不受支持的记忆能通过写入时验证。作者列出三项贡献：把持久记忆视为由交互历史导出；给出区分不完整出处与无支持组合的审计设置；在自然与受控设定中刻画失败模式，并检查失真与缺失记忆对后续行为的影响。

作者在 §2 把相关工作分成三条线，并用 Table 1 对比是否覆盖智能体记忆、超出所附出处的证据、组合语义、写入时准入和下游记忆效应。

长期记忆与评测

• 持久记忆系统：Packer et al. (2024)、Chhikara et al. (2025)、Latimer et al. (2026) 通过抽取、巩固、更新和检索，让智能体跨长交互保留并复用信息；引言还提到 Park et al. (2023)、Zhong et al. (2023)、Shinn et al. (2023)、Zhao et al. (2024)、Xu et al. (2025)，以及 Zhang et al. (2024) 把记忆形成、演化和检索当作长期智能体的核心组件。
• 记忆基准：Latimer et al. (2026)、Wu et al. (2025)、Hu et al. (2026)、Chen et al. (2026) 评测回忆、时间推理、知识更新和记忆操作失败。Table 1 将 LoCoMo / LongMemEval（Maharana et al., 2024; Wu et al., 2025）标为有智能体记忆、无其余四项；HaluMem 另有下游记忆效应。

可靠写入与准入

• 出处与准入控制：Eywa（Joshi, 2026）把记忆连到出处；MemIR（Jin et al., 2026）区分源证据与承载真值的记忆内容；ConsistencyGate（Zhang & Li, 2026）和 MemTxn（Cui et al., 2026）控制候选更新是否提交。Table 1 中 Eywa、ConsistencyGate、MemTxn 有写入时准入，MemIR 没有；四者均未标“超出所附出处的证据”和“组合语义”。

细粒度事实性与组合验证

• 关系级验证：Goyal & Durrett (2020)、Laban et al. (2022)、Honovich et al. (2022)、Ribeiro et al. (2022)、Cattan et al. (2025)、Lewis et al. (2026)、Liu et al. (2025) 用依存级蕴含、语义图、谓词论元结构和轮次级验证暴露无支持关系。Maynez et al. (2020)、Pagnoni et al. (2021) 记录抽象生成中源中已有内容被重组成无支持陈述。Table 1 将 DAE / FactGraph / QASemConsistency 标为有组合语义、无智能体记忆；VISTA 两项皆无。引言还引用 Rashkin et al. (2023)、Gao et al. (2023b;a)，要求验证器判断记忆整体是否被历史证成。

基线方法与基准

• 验证基线：holistic factuality（文中亦称 holistic judge，Luo et al., 2023；Zheng et al., 2023）、atomic-claim verification（Min et al., 2023）、predicate–argument QA（Cattan et al., 2025）。对比视图为 compact-relation、composition-graph、obligation-level / per-obligation。
• 数据：自然审计用 LoCoMo 与 HaluMem-Medium；受控实验为 70 个匹配族和 512 条记录套件。

作者的定位是：本文不主要问存储信息以后能否被召回，而问记忆进入持久状态时是否由交互历史在语义上证成；DERIVAUDIT 在受控证据范围内评估自然写入，同时测量被保留的无支持记忆和被丢弃的有历史支持的记忆，并联合研究支持所在位置、组合添加的含义，以及哪些记忆通过写入时验证并影响后续行为。

DERIVAUDIT 把候选记忆当作从更早交互蒸馏、供后续轮次或任务使用的紧凑记录，并审计三件事：支持落在写入前历史的何处、历史是否支持记忆的完整含义、写入时验证是否为后续使用留下合适信息。准入决定该记录是否提交到记忆。

证据范围

• 两种视图：对同一条写入前历史，citation-only 只含作者附上的段落；expanded-history 在引用之外，从该记忆写入之前的交互中用 BM25 再取至多 12 段，总预算 16 段。更晚的交互被排除；先前已写入的记忆不作为由同一历史导出之主张的独立证据。
• 配对判断：同一条未改写的记忆在两种证据视图下，用 §3.2 的参考标注独立评估。段落按时间排列，且不标明是被引用还是被检索到。引用不足、扩展后受支持的记忆称为 provenance-repaired，并报告此类记忆占引用不足记忆的比例。
• 未解析情形：扩展受检索限制，证据不足的判断并不总是说明完整历史不支持该记忆；作者把搜索受限的情形当作 unresolved，而不是历史上无支持。

组合有效性

• 语义义务：把每条记忆 mi 分解为事实主张、关系和限定，记为 O(mi) = {oi1, …, oiJi}。记忆受支持当且仅当全部义务被可用证据支持：Y(mi, Ei) = 1[∀o ∈ O(mi), ℓ(o, Ei) = SUPPORTED]。例如搬迁与新工作各自出现，还不足以支持“因为新工作而搬迁”这一因果关系和事件已发生。
• 参考标签：每个义务由两次独立模型评估给出四类标签，分歧由盲法裁定。支持与矛盾分开评估，以免把缺失证据当成反对该主张的证据。附录 B 写明标注者不直接写支持状态，而是按固定顺序回答三个原语问题 D（义务在 Γ 下是否有确定真值条件）、E（是否有子集蕴含该义务）、R（是否有子集蕴含其否定），再由路由得到 ambiguous / supported / contradicted / insufficient。记录级优先级为 contradicted > unsupported > ambiguous > supported。反驳按时间索引：只有主体、事件和时间框架都相同时才算反驳，后来的状态变化是更新而不是矛盾。
• 验证视图：同一候选记忆、证据和验证模型下，只改变检查所用表示：s_i^(v) = V_θ(φ_v(mi), Ei)。比较 holistic factuality、atomic-claim verification、predicate–argument QA，以及显式表示关系与限定的 compact-relation、composition-graph 和 obligation-level 视图。
• 受控证据分布：70 个匹配族中，在局部与分布式证据条件下构造有效和无效记忆，候选记忆及其有效性保持固定。有效的分布式情形要求跨段落组合证据；无效情形含各自合理的前提，但没有支持把它们连起来的那一关系。附加控制去掉支持目标关系所需的完整证据集，或把合理前提换成匹配的无关段落。

准入与后续使用

• 三种写入时设置：回放同一批自然候选写入：仅引用的整体验证、扩展历史的整体验证、扩展历史的义务感知验证。记忆在分数不低于对应阈值时被准入：a_i^(v) = 1[s_i^(v) ≥ τ_v]。两种扩展历史设置使用同一证据，以分开“看到更多历史”和“换一种检查方式”。指标覆盖受支持记忆的保留、无支持记忆的准入，以及 provenance-repaired 记忆的单独分析。阈值与各模型决策规则在附录 F。
• 验证粒度：对受支持记忆，在候选记忆、证据和参考有效性不变的前提下，让验证器再检查两个或四个已知独立为真的义务。作者把由此引起的分数或准入下降称为 accumulated verification noise。
• 写入之后：跟踪后续改写是否保留时间、不确定性等限定，以及存储记忆是否被检索进后续上下文。受控下游探针固定任务上下文，只提供正确记忆、失真版本或不提供记忆。

形式边界

附录 A 给出两条边界。命题 1：若 m 只被证据集 {ei, ej} 共同许可，而任一单独都不许可，则只对单条证据打分再取最大值的验证器，会在每条分数都低于阈值时拒绝 m。引理 1：若两个候选在删去唯一不同的真值条件关系后映射到相同输入，则只通过该共享表示打分的验证器会给出相同分数。作者称标量输出本身不是失败原因；式 (1) 的 V*(m, Ht) = I_Γ(m; E(Ht)) 是标量但仍按构造在语义上完整。逻辑弱化只在原断言于既定逻辑下蕴含替换项时允许；把无支持义务换成历史另行许可的义务是另一种操作，例如 COMPLETED(p) 一般并不蕴含 PLANNED(p)。

实验设置

• 验证模型：Qwen3-30B-A3B、Gemma-4-31B、Llama-3.3-70B-Instruct。它们在各实验中作验证模型，并在适用时作记忆写入者或下游阅读者。
• 自然数据：400 条未编辑记忆写入，LoCoMo 与 HaluMem-Medium 各半，来自两条记忆写入流水线；每条在仅引用和扩展写入前证据下评估。391 条得到已解析的扩展历史参考标签并进入准入评估：313 条受支持，78 条不受支持或被矛盾。
• 受控数据：70 个匹配族、280 个例子，在局部/分布式与有效/无效上变化，候选记忆及其有效性固定；另有 512 条记录套件，比较单段落与多段落支持以及无支持关系上的验证方法。Table 9 还列出远程历史控制、235 条 oracle 诊断、391 条已标注记录上的 k=0/2/4 填充义务，以及 39 对加 35 条检索项的生命周期探针。
• 指标：出处修复；无支持关系检出 U 与有效多段落记忆保留；受支持记忆保留与无支持记忆准入。自然参考标签来自两次独立模型评估，分歧由盲法裁定。分层人工复核与该程序的一致率为 96.0%（Limitations）；AI Use Statement 称该程序的一致率报告为模型实例一致，而不是人类验证。
• 决策规则：Table 2 注记写明 Qwen 使用交叉拟合阈值，Gemma 与 Llama 使用 argmax 工作点。Table 3 中 Qwen 使用折外调好的阈值，Gemma 使用 argmax 工作点。具体阈值数值在附录 F，正文未给出各阈值本身。
• 重复与查询：论文未在正文报告每次条件的重复次数或查询次数。附录 K 的报告清单要求结果表在适用时给出样本量、分母、阈值划分、检索预算等，但这些字段的具体数值未在所给正文表中逐项列出。

主结果

Table 2 在 391 条可判定自然写入上比较三种写入时验证。无门控策略接受全部写入，表中省略。

表格较宽，可左右滑动

模型	设置	不支持准入	有效保留	修复后保留
Qwen	仅引用	0.846	0.904	0.821
Qwen	+扩展历史	0.808	0.901	0.938
Qwen	+义务检查	0.769	0.907	0.929
Gemma	仅引用	0.667	0.837	0.580
Gemma	+扩展历史	0.769	0.971	0.955
Gemma	+义务检查	0.590	0.939	0.920
Llama	仅引用	0.833	0.946	0.857
Llama	+扩展历史	0.897	0.974	0.982

表中 Llama 的义务检查一行：不支持准入 0.885，有效保留 0.974，修复后保留 0.973（Table 2）。作者报告：Qwen 上修复记忆保留从仅引用的 82.1% 到扩展历史的 93.8%，配对提升 11.6 个百分点（p = 0.007）；义务检查为 92.9%（相对仅引用 p = 0.023）。Qwen 总体有效保留在三种设置下为 90.4%、90.1%、90.7%。Gemma 上修复保留从 58.0% 到 95.5%，Llama 从 85.7% 到 98.2%。

• 不支持写入仍常被准入：Qwen 上不支持准入从 84.6% 到 80.8% 再到 76.9%；相对仅引用，义务检查的差异在 78 条负例上未达到作者报告的统计分辨（p = 0.24）。Gemma 从 66.7% 到 59.0%，Llama 从 83.3% 升到 88.5%。作者称扩展历史在三个模型上都能提高出处不完整之有效记忆的保留，而对无支持写入的拒绝不稳定。
• Gemma 的扩展历史：仅扩展历史时，Gemma 不支持准入从 0.667 升到 0.769，Llama 从 0.833 升到 0.897；摘要称仅扩展证据会在两个骨干上使该问题变差，与这两行方向一致。
• 摘要中的区间：作者称在各验证模型上，无支持记忆仍经常被准入（59–89%）；扩展后仍有 17–21% 不受支持。59.0% 与 88.5% 对应 Table 2 中 Gemma、Llama 义务检查一行；17–21% 在正文叙述中给出，Table 2 未单列该比例。

证据范围与组合验证

• Figure 3(a)：仅引用对 42.5% 的 LoCoMo 记忆和 51.0% 的 HaluMem-Medium 记忆不足；扩展历史分别为其中 60.0% 和 59.8% 恢复支持，总体受支持比例从 53.5% 升至 79.5%、从 47.0% 升至 77.0%。107 条引用已支持的 LoCoMo 记忆中有 25 条、94 条 HaluMem-Medium 中有 14 条需要多段落共同支持。
• Table 3（512 条）：Qwen 上 atomic 的 U 为 0.165、多跨度保留 0.744；predicate–argument QA 的 U 为 0.392、多跨度保留 0.564；compact relations 为 U 0.595、多跨度保留 0.949，holistic 为 U 0.608、多跨度保留 0.846。Gemma 上 atomic 的 U 为 0.000、多跨度保留 1.000；predicate–argument QA 的 U 为 0.975、多跨度保留 0.205；compact relations 被记为退化，拒绝全部 39 条多跨度记忆；per-obligation 的 U 为 0.987、多跨度保留 0.769。单跨度有效保留在每个已报告格子中至少 0.91，表中省略。作者称没有单一视图在两个模型上同时在两项标准上表现稳定。Table 3 未列出 Llama。
• 分布式证据悖论：Figure 3(b–c) 在固定候选记忆及其有效性时，分布式证据下 holistic 与义务感知验证对 Qwen 无效案例的检出分别为 8.6% 和 11.4%。图上还标有 Q 9 / G 77 / L 79、Q 11 / G 76 / L 73、Q 46 / G 74 / L 73，以及合理前提下接受率 65–88%、换成无关历史后 0–10%。去掉目标关系的全部充分证据会使 88–100% 的受影响决策翻转为拒绝。作者称该模式不能仅由更长上下文或更大证据距离解释，并称之为 distributed-evidence paradox。

验证噪声、改写漂移与下游

• 额外真义务：再检查四个已知为真的义务时，Qwen 中位支持分数下降 7.7 个 log-odds，98.7% 的记录下降；准入从 99.4% 到 98.1%。Gemma 从 93.3% 到 2.6%，Llama 从 97.4% 到 35.5%。作者称之为 accumulated verification noise。附录 G 称其他聚合规则会移动这一权衡，但不能消除它；正文未给出附录 G 的具体数字。
• Figure 4(a) 漂移：Gemma 的时间漂移与模态漂移从抽取时的 8.4% 和 15.8% 到第 4 轮的 69.7% 和 78.1%；Qwen 从 7.0% 和 12.0% 到 91.1% 和 92.6%。作者称这些趋势是描述性的而不是因果的，因为引用广度、写入者设置和记录总体也随轮次变化。图上另有 92.6、91.1、78.1、69.7 等端点标注。
• Figure 4(b–c)：相对正确记忆，提供失真记忆使下游失败增加 93.0、83.8、92.2 个百分点（Gemma、Qwen、Llama）；在需要该信息的查询上去掉有效记忆，失败增加 99.5、92.8、94.9 个百分点。自然检索中，无效记忆在 Gemma、Qwen 上产生错误信息的比例为 100% 和 96.2%；有效记忆支持正确答案的比例为 91.9% 和 85.9%。Figure 4(c) 未给出 Llama 的对应百分比。Figure 5 给出一条未编辑的 HaluMem 失败：未来计划被写成正在进行的活动，一般性支持被写成对特定计划的支持关系；扩展证据后该记忆仍不受支持。附录给出了该例的历史与记忆对照，此处不复述原句。

其他消融与分析

• 人工与路由：直接多类标签在评分细则措辞改动下的一致稳定性为 0.69–0.78，原语问题为 0.81–0.91（附录 B）。
• 自然审计 attrition 从双方都标注的记录计起，附录 C 列出 160 这一被双方标注的记录数；后续分母在所给文本中未完整对齐，不另引数字。
• Oracle 诊断规模为 235 条，设定为正确证据加正确分解（Table 9）；正文未报告其检出或保留数字。
• 自然门控回放规模为 663 条写入，比较单跨度许可者在场与不在场（Table 9）；正文未报告该对比的比例。
• 远程历史控制包括必要路径移除、冗余路径移除和修正（Table 9）；正文给出的对应结果是上文 88–100% 与 65–88% 到 0–10%。
• Llama 未出现在 Table 3；Gemma 的 compact-relation 视图拒绝全部 39 条多跨度记忆。

作者指出的局限与后续方向

• 参考标签：主要依赖两次独立模型评估，分歧由盲法裁定；分层人工复核的一致率为 96.0%（§5 Limitations）。AI Use Statement 另写明该程序报告的是模型实例一致，人类复核在分层样本上另行进行。
• 检索边界：证据扩展受检索限制，未能恢复支持并不确立历史上的无效（§5）。§3.1 也把搜索受限情形当作 unresolved。
• 案例类型：自然数据中被矛盾的案例和涉及显式关系的案例相对较少；受控套件只覆盖记忆写入时意义被改写的方式的一个子集（§5）。
• 结果变异：结果随验证模型、验证视图、提示和聚合规则变化（§5）。
• 观察性巩固与非闭环下游：巩固结果是观察性的；下游干预没有捕捉完整闭环记忆系统。作者因此把这些发现视为关于所评估设置的证据，而不是关于记忆验证的普遍主张（§5）。
• 论文未在 Limitations 中把代码发布写成已完成或待完成事项；Reproducibility Statement 描述附录与伴随工件记录了配置、提示、检索索引、随机种子和标注输出，未把尚未完成的发布列为后续方向。

实验覆盖范围

• 自然审计为 400 条未编辑写入，LoCoMo 与 HaluMem-Medium 各半；准入评估使用其中 391 条已解析扩展历史标签，313 条受支持、78 条不受支持或被矛盾（§4、Table 2）。
• 验证模型为 Qwen3-30B-A3B、Gemma-4-31B、Llama-3.3-70B-Instruct；Table 3 的组合验证报告了 Qwen 与 Gemma，未报告 Llama（§4、Table 3）。
• 受控分布为 70 族 × 4，共 280 例；语义验证套件 512 条；填充义务实验在 391 条已标注记录上取 k = 0、2、4；生命周期探针为 39 对加 35 条检索项（§4、Table 9）。
• 扩展历史的检索预算为至多 12 条 BM25 段落、总计 16 条，且不含写入之后的交互（§3.1）。Qwen 使用交叉拟合或折外阈值，Gemma 与 Llama 在 Table 2 使用 argmax 工作点；正文未给出各阈值的数值。
• 下游探针固定检索位置和周围上下文，分别提供正确记忆、失真记忆或不提供记忆；Figure 4(a) 的多轮巩固被作者称为描述性而非因果。论文报告了分层人工一致率 96.0%，未在正文给出该复核的样本量。

DERIVAUDIT 审计长期智能体的持久记忆是否由写入时可获得的交互历史支持，而不是只看以后能否被召回。

• 问题：引用可能漏掉真正的支持，使有效记忆看起来无支持；各自成立的事实也可能被写成历史从未确立的关系或事件状态。作者把要求概括为 semantic derivation integrity，并分成证据范围、组合有效性和准入可靠性。
• 做法：对未改写的候选记忆比较仅引用视图与 BM25 扩展的写入前历史；把记忆拆成必须全部成立的语义义务；用整体判断、原子主张、谓词论元问答以及显式关系视图做写入时验证；再用匹配的局部/分布式证据和下游探针分开“前提错误”与“所需信息被删掉”。
• 证据范围：400 条自然写入中，扩展历史为 LoCoMo、HaluMem-Medium 里 60.0% 和 59.8% 的引用不足记忆恢复支持，总体受支持比例升至 79.5% 和 77.0%（Figure 3a）。作者称扩展后仍有约五分之一不受支持。
• 准入：391 条可判定写入上，扩展历史把修复记忆的保留提到 Qwen 93.8%、Gemma 95.5%、Llama 98.2%（Table 2）。义务感知检查后，不支持记忆准入仍为 Qwen 76.9%、Gemma 59.0%、Llama 88.5%；作者称对无支持写入的拒绝在模型间不稳定，且仅扩展历史会在 Gemma 与 Llama 上提高不支持准入。
• 两侧失败与下游：分布式证据下，Qwen 的整体验证与义务感知验证只检出 8.6% 和 11.4% 的无效案例；再检查四个已知为真的义务后，Gemma 的有效记忆准入从 93.3% 降到 2.6%。失真记忆使三个阅读模型的下游失败增加 83.8–93.0 个百分点，去掉所需有效记忆则增加 92.8–99.5 个百分点。作者的结论是：可靠写入不能只找到相关证据，还要判断这些证据是否支持进入持久记忆的完整含义；这些结果针对所评估的设置。