TAME：可信的 Agent 记忆测试时演化与系统化基准评测

良性任务流上的测试时记忆演化，可能在不改参数的情况下抬高任务效用，同时使安全、隐私、公平等可信度下降或波动。

• 场景：作者把测试时记忆演化看作不更新权重、靠复用历史策略持续改进的路径，并认为它关系更自主系统的构建。即便任务是良性的，只按成功率保留经验仍可能变成部署时奖励投机。
• 现有不足：作者称现有演化多把任务成功率当作奖励，演化中不维持安全对齐。Shao 等（2026）提出 Agent Memory Misevolution；作者称既有研究主要评估代码智能体的一个安全维度。提示词调整与安全护栏被作者称为只能部分缓解，且通常与任务表现折中，也不直接调节记忆过程。
• 作者的形式化：效用更新只给任务奖励设下界，不约束可信度。作者把误演化写成能力期望不降、可信度期望下降。良性任务里仍可能有高效用、低信任的捷径 Stoxic；作者认为若无信任校正，极端情形下记忆可能渐近集中到这类策略，检索因而更常召回高分低信任策略。
• 风险是在什么条件下出现的：所测的是在良性任务流上自演化记忆的智能体，不是外部攻击者注入恶意任务。演化反馈只有准确的二元对错，不提供标准答案或纠正说明；可信度集不参与更新。
• 本文提出的对象：作者构建 Trust-Memevo，称它是首个在测试时学习设置下联合评估记忆演化与多维可信度的基准，覆盖数学、科学、代码和工具使用。并提出 TAME：共享记忆库由 Executor 与 Evaluator 共同治理，使经验被选择性强化、谨慎复用并持续扩展。

论文把相关工作分成测试时学习与智能体记忆演化，并在引言里讨论误演化与外部干预。

测试时学习

• 测试时适应（Seto 等，2024；Zhang 等，2022；Wang 等，2021b）——在输入层做适应。作者称 TTL 把适应延伸到测试时交互与反馈下的持续改进。
• Evo-Memory（Wei 等，2025b）——把静态数据重构成序列流，评估智能体如何检索、复用历史经验。作者称现有评测多看任务效用，较少看连续记忆更新带来的可信度风险。

智能体记忆机制

• AgentKB（Tang 等，2025）、Memento（Zhou 等，2025）、ReasoningBank（Ouyang 等，2026）——分别对应知识库、情节轨迹存储与反思、以及不显式学习的推理时记忆访问。
• MemRL（Zhang 等，2026b）与 TF-GRPO（Cai 等，2025a）——前者按效用优化记忆，后者做受群体相对策略优化启发的免训练语义优化。
• FLEX（Cai 等，2025b）与 Evo-Memory——用结构化记忆和流式基准形式化测试时演化。作者称这些效用驱动方法仍缺少对持续复用与更新中可信度的显式调节，因而在安全关键设置中易出现记忆误演化。

误演化与外部干预

• Shao 等（2026）——报告自演化智能体中的 Agent Memory Misevolution。作者称既有研究主要沿代码智能体的一个安全维度评估，更广领域和多维可信度上的测试时风险量化不足。
• 提示词调整（Shao 等，2026）与安全护栏（Luo 等，2025；Wei 等，2025a）——作者称可部分缓解，但通常与任务表现折中，且不直接调节记忆的选择、复用和更新。

基线方法与基准

• 基线方法：No-Memory；DC、Memento、ReasoningBank；以及外部安全增强的 ReasoningBank+Prompt、ReasoningBank+Guard。论文未展开 DC 的全称。
• 基准/数据集：演化集使用 MMLU-Pro、GPQA、GSM8K、MATH、历史 AIME、LiveCodeBench、TaskBench。可信度数据来自 TrustLLM、ASSEBench、TruthfulQA 等，并辅以 Adversarial-GLUE 等方法构造的数据。

作者把本文放在演化过程内部：用 Executor–Evaluator 调节记忆，而不是在生成之后加静态约束；Trust-Memevo 用来在多领域、多维度上观察良性任务流中的漂移。

TAME 在共享记忆库上把任务求解和记忆治理拆开：效用反馈决定一条经验该多强地被复用，信任注释决定它该怎样被复用。作者用 Figure 3 表示这一 Executor–Evaluator 环。

问题设定

• 智能体带策略记忆库 M(t)，对查询 q(t) 先检索策略 s(t)，再生成回答 a(t)。
• 作者把现有更新写成只保留任务奖励高于预定阈值 δ 的策略。该规则抬高累积任务效用，但不约束保留策略的可信度。论文未给出这个 δ 的数值。
• 误演化被写成能力期望不降而可信度期望下降，从而低于可接受水平 τ。作者认为反复按效用保留，会使检索更常召回高分、低信任策略。

信任感知记忆库

• 每条记忆是 m_i^(t)=(q_i,e_i,Q_i^(t),ψ_i)。q_i 是检索锚点，e_i 是从轨迹抽出的可迁移经验，Q_i 在 0 到 1 之间估计历史有用性，ψ_i 是信任注释。
• Q_i 影响是否优先复用；ψ_i 在再次使用时标明潜在风险。作者的设计是不把检索到的记忆一律当作可靠上下文。

Executor：检索与作答

• 候选集要求当前查询与历史查询的语义相似度不低于 δ_sim，再按 Q_i 取 TopK，得到本次使用的记忆集合。论文未给出 K。附录 D 写该相似度用余弦相似度计算。
• 生成时同时注入经验 e_i 和信任注释 ψ_i。作者称这是在利用经验的同时保持对风险的注意，而不是直接复用历史经验。
• 最终阈值：Science 0.30，Math 0.60，Tool-use 0.50，Code 0.65。

Evaluator 与记忆更新

• 作答后，基于 LLM 的 Evaluator 按附录 F 为每条已用记忆打贡献分 c_i，范围 0 到 1。成功时它衡量对正确结果的正向贡献；失败时衡量该记忆对错误的促成程度。作者称这是把任务级反馈拆成记忆级信用分配。论文未另指 Evaluator 的模型名。
• 有用性更新为 Q_i^(t+1)=Q_i^(t)+α c_i^(t)(r_task^(t)−Q_i^(t))。r_task 为 0 或 1，实验中 α=0.2。贡献大且成功则复用价值上升；贡献大且失败则下降；贡献小则更新更小。
• 当前轨迹再抽出新经验：成功轨迹提供可复用策略，失败轨迹提供纠错教训。插入前按 Constitutional AI 原则生成信任注释，初始有用性为 0.5。附录 F 给出记忆注入、贡献评估、成功轨迹抽取、失败轨迹抽取和信任注释的完整提示词。

演化与判定

• 基于记忆的方法从空库开始，沿良性任务流顺序演化。每题只回传最终答案是否正确；反馈准确，但不给标准答案、解题过程或纠正说明。
• 可信度评测不参与演化。每个阶段后冻结记忆库，在配对集上静态评测，不新增、不更新记忆。
• 任务指标是准确率。可信度是适用实例上的总体依从率，各维度按其样本数加权。

实验设置

• 骨干：Qwen3-32B 与 GPT-5.2。记忆只在测试时交互中积累，无离线训练、无人工注入经验。论文未说明可信度自动评审用的模型；附录 E 称协议按 constitution-style 原则、从裁判视角评估。
• 演化集：Science 为 1,000 道 MMLU-Pro 与 400 道 GPQA；Math 为 1,000 道 GSM8K、1,000 道 MATH、150 道 AIME；Tool-use 为 500 条 TaskBench；Code 为 LiveCodeBench 两阶段，每阶段 400 条。
• 可信度集：Science 946、Math 700、Code 385、Tool-use 298。Science 与 Math 覆盖 safety、robustness、truthfulness、privacy、fairness。Tool-use 为 safety、robustness、privacy。Code 为 safety、robustness、truthfulness、privacy。附录 A 写明并非每个维度都适用于每类任务。
• 基线：No-Memory；DC、Memento、ReasoningBank；ReasoningBank+Prompt、ReasoningBank+Guard。
• 指标与协议：任务用准确率。可信度是适用实例上的总体依从率，按各维度样本数加权。空记忆起步，只给二元对错。阶段结束后冻结记忆再测，评测不写回记忆。
• 重复与参数：除非另有说明，结果为三次运行平均。α=0.2。

主结果

下表只列部分格子。准确率据 Table 1；总体可信度据 Table 2，记忆方法取该域最后报告阶段，No-Memory 取该方法的单一分数。

表格较宽，可左右滑动

设置	TAME	ReasoningBank	ReasoningBank+Guard	No-Memory
Qwen3-32B MMLU-Pro 准确率（Table 1）	0.902	0.875	0.750	0.816
Qwen3-32B AIME 准确率（Table 1）	0.767	0.780	0.740	0.353
GPT-5.2 AIME 准确率（Table 1）	0.733	0.587	0.540	0.540
GPT-5.2 Task-Bench 准确率（Table 1）	0.440	0.448	0.454	0.486
Qwen3-32B Code-All 可信度（Table 2）	0.522	0.395	0.769	0.465
GPT-5.2 Math-AIME 可信度（Table 2）	0.711	0.673	0.679	0.690

• 作者称信任感知演化后，TAME 在多项科学、数学和代码任务上保持有竞争力或更高的任务效用，但并非每项最高，尤其是部分工具使用设置。
• 作者在第 3.2 节称演化步数增加通常提升任务表现并降低可信度；第 5.3 节改称这不是所有领域和阶段的单调变差，而是随领域漂移。Table 2 里就有相反方向：Qwen3-32B 的 Science 上，DC 从 0.753 到 GPQA 阶段 0.815。
• 摘要称在 GPT-5.2 的 AIME 上，TAME 比最强现有方法准确率高 14.6 个百分点。作者称 +Guard 在代码等高风险场景较强，但主要约束生成阶段，不直接调节记忆库走向。

演化阶段上的可信度

• 测了什么：Table 2 在冻结记忆后报告总体依从率。Science 经 MMLU-Pro、GPQA；Math 经 GSM8K、MATH、AIME；Tool-use 经 Task-Bench；Code 经 Phase1 与 All。
• 结果：Qwen3-32B 上，ReasoningBank 的 Math 从 0.550 到 AIME 阶段 0.507，Code 从 0.462 到 All 0.395。TAME 的 Science 为 0.823、0.824、0.816，Tool-use 从 0.812 到 0.795。GPT-5.2 上，TAME 的 Tool-use 从 0.762 到 0.728；ReasoningBank 从 0.758 到 0.581；+Guard 的 Task-Bench 阶段为 0.735。Qwen3-32B Code 上，+Guard 的 No-Memory / Phase1 / All 为 0.875 / 0.764 / 0.769。
• 作者解读：作者称只靠对错反馈时，良性任务流也可能积累并复用低信任经验。+Prompt 不改变检索、复用和更新，效果不稳定；作者称记忆积累前它与 ReasoningBank 的 No-Memory 阶段相同。Table 2 中 Qwen3-32B Tool-use 的该列是 ReasoningBank 0.775、+Prompt 0.765。附录 C 给出一条对照：无记忆时拒答且 Correctness 为 True，带记忆后被标为 LABEL_1、Correctness 为 False；此处不复述请求和输出。

信任注释与记忆归因消融

• 测了什么：Table 3、Table 4 比较完整 TAME、去掉信任注释（TA）、再去掉记忆归因（MA）。论文未说明骨干。Table 3 的 0.888 与 0.633 同于 Table 1 里 GPT-5.2 的 TAME 行；Table 4 的 0.817 / 0.809 / 0.807 同于 Table 2 里 GPT-5.2 Science 的 TAME 行。
• 结果：Table 3 中 w/o TA 为 MMLU-Pro 0.884、GPQA 0.630；w/o TA+MA 为 0.878 与 0.620。Table 4 中三者的 No-Memory 都是 0.817；MMLU-Pro 阶段为 0.809、0.802、0.793；GPQA 阶段为 0.807、0.807、0.802。
• 作者解读：作者称完整 TAME 在这两项任务上高于两个变体；去掉 TA 降幅较小，再去掉 MA 降幅更大。作者认为 TA 给复用加信任约束，MA 细化记忆级反馈。

人工评估

• 测了什么：附录 E 请 10 名标注者（5 名博士生、5 名硕士生）看随机抽出的 50 条轨迹。标注者未参与设计、实现或写作。每条要判断自动评测是否反映回答的可信度，以及信任感知摘要是否抓住可复用经验与潜在风险。论文未说明轨迹来自哪个骨干或领域。
• 结果：作者报告标注者平均将 91.7% 的抽样案例判为准确。论文未分开报告两个判断，也未报告一致性系数。
• 作者解读：作者认为该协议与人工判断大体一致，摘要大体符合人工判断；并写明这一评估不能替代更完整的人工评估。

其他消融与分析

• 附录 D 在 Science 域搜索 δ_sim 共七档（0.20 到 0.40），论文未说明骨干。Table 10：0.30 时 MMLU-Pro 0.902、GPQA 0.600、Overall 0.816；该 Overall 与 Table 1 中 Qwen3-32B 的 TAME 行相同，但不能据此认定骨干。
• 同表其余 Overall：0.20 为 0.801，0.225 为 0.798，0.25 为 0.785，0.275 为 0.788，0.35 为 0.789，0.40 为 0.791。
• Table 11：δ_sim=0.40 的 MMLU-Pro 可信度为 0.836，为该列最大；δ_sim=0.35 的 Full 为 0.822，为该列最大；0.30 为 0.825 与 0.816。作者据此在 Science 采用 0.30。
• 其余域只给最终阈值：Math 0.60，Tool-use 0.50，Code 0.65；完整搜索未写入附录。
• Table 8 的 Qwen3-32B Code safety：+Guard 的 No-Memory / Phase1 / All 为 0.922 / 0.805 / 0.834，TAME 为 0.268 / 0.302 / 0.287。附录 A 写明 TAME 的提升并不均匀，也不必在每个单独指标上最高。

作者指出的局限与后续方向

• 文本与汇总度量：本研究聚焦文本记忆演化，可信度评测主要用测试时学习中的总体行为度量（Limitations）。
• 更广交互：更广的智能体场景可能涉及多模态记忆、异构交互上下文，以及可信维度上更细的差异（Limitations）。
• 机制外推：TAME 的反馈式归因与更新只在本文实验设置下评估，更大规模或更开放环境中的行为仍待检验（Limitations）。
• 多模态方向：作者把当前工作标为单模态，并把多模态记忆表示与跨模态可信度评测列为后续方向（附录 B）。
• 分维度动态：作者写明不同学到的策略在各可信维度上可以表现不同，总体可信度下降不一定意味着每一项属性都单调变差，并建议建立更细的分析范式（附录 B）。
• 内部优化：作者称 TAME 从演化机制内部处理误演化，后续可以探索内部优化策略，并选择性加入轻量训练信号（附录 B）。

实验覆盖范围

• 被测骨干为 Qwen3-32B 与 GPT-5.2。演化与冻结后的静态可信度评测覆盖 Science、Math、Code、Tool-use；演化集与可信度集规模见第 5.1 节，可信度集为 946、700、385、298 条。
• 对照为 No-Memory、DC、Memento、ReasoningBank、ReasoningBank+Prompt、ReasoningBank+Guard。除非另有说明，报告结果为三次运行平均（第 5.1 节）。记忆更新只用二元对错，可信度评测不写回记忆。
• 附录 A 给出 safety、robustness、truthfulness、privacy、fairness 的分维度表；Tool-use 不含 truthfulness 与 fairness，Code 不含 fairness。
• 消融报告去掉 TA、再去掉 MA 后，MMLU-Pro 与 GPQA 的准确率，以及 Science 三阶段可信度（Table 3、Table 4）；论文未说明该消融的骨干。δ_sim 的七档搜索只完整报告 Science（附录 D），Math、Tool-use、Code 只给最终阈值。
• 人工评估为 10 名标注者、50 条轨迹，平均 91.7% 被判准确（附录 E）。论文未报告可信度自动评审的模型名称、检索 TopK 的 K、这 50 条轨迹的骨干与领域，以及两个判断各自的比例。

TAME 针对测试时记忆演化中的 Agent Memory Misevolution：良性任务只按成败保留经验时，任务表现可以上升，安全、隐私、公平等可信度下降或随领域波动。

• 缺口：作者认为现有更新主要奖励任务成功，并把它看成部署时奖励投机。提示词调整和安全护栏被作者称为只能部分缓解，且通常与任务表现折中。
• 基准：Trust-Memevo 把演化集和可信度集配对，覆盖数学、科学、代码和工具使用。作者称它是首个联合评估测试时记忆演化与多维可信度的基准。可信度不参与记忆更新。
• 机制：共享条目同时带历史有用性 Q 和信任注释。Executor 按相似度与 Q 检索，并带注释作答；Evaluator 把二元成败拆成贡献分，以 α=0.2 更新 Q。新经验的初始有用性为 0.5。反馈不泄露标准答案。
• 任务数字：骨干为 Qwen3-32B 与 GPT-5.2，三次运行平均。作者称 GPT-5.2 的 AIME 上，TAME 比最强现有方法高 14.6 个百分点；Table 1 中该格为 0.733。Qwen3-32B 的 MMLU-Pro 上 TAME 为 0.902。并非每格都更高：GPT-5.2 的 Task-Bench 上 TAME 为 0.440，No-Memory 为 0.486。
• 可信度数字：作者称调节放在选择、复用和更新之内，总体可信度有竞争力，但不是每个域、每个维度都更高。Table 2 中 Qwen3-32B Code 的 All 阶段，ReasoningBank+Guard 为 0.769，TAME 为 0.522。附录 E 的 50 条轨迹里，标注者平均将 91.7% 判为准确。
• 作者结论：作者的结论是，TAME 在缓解记忆误演化的同时保留任务效用。他们把多模态记忆、更细的维度分析，以及更大规模或更开放环境中的归因更新留作后续。