跳到正文
原文

经验腐化:有经验的智能体在新手成功之处失败

Experience Rot: Experienced Agents Fail Where Novices Succeed

arXiv:其他 AI 安全论文· arXiv:2611.20922· Zhen Xu, Hang Yin, Zitao Zhang, Kevin Zhao, Xuefeng LiuUniversity of Chicago; eBay; University of Florida本站收录· 2 天前· 原文发表入选 对齐· 扫描记录里的位置 →精选关注度39

论文速读

风险行为

据论文 PDF 整理(AI 生成),以原文为准

作者称智能体在工具接口静默变更后会复用旧调用而失败(Experience Rot),文档不全时成功率从63%降到23%。

问题
智能体越来越多地复用过往成功经验,但工具接口会静默变更(改字段名、改数值含义且不报错)。作者称此时经验反而有害:有经验的智能体失败,新手反而成功。
方法
自建三个服务,各设A/B两版仅差一处接口细节,变更静默(旧调用被接受、未知字段被忽略)。智能体先在旧版本完成任务获得经验,再在新版本做同类任务,对比无经验、有效经验、过时经验三组,并测试记忆形式、经验量、提示补救与手写历史的影响。
实验与结果
六个模型上,文档不全时过时经验使成功率从63%降到23%;文档完整时降到26–49%。有经验者首次写入前查文档的比例至多6%,347/348的失败被报告为完成。文档放进任务消息可恢复到99%,写后核对达91%但调用翻倍。
局限与可以继续做的
作者指出的局限:服务为合成小规模、每对版本仅差一处细节、任务短、经验仅1–10个同类任务、文档始终正确且一次调用可得、六模型共用同一简单agent loop、多数补救只在对话内经验上测试、文档不全条件未预注册(Limitations节)。
实验设置GLM-5.3-Flash、Muse-Glimmer-30B 等 · 三个自建服务(calendar、task list、mail client),各含A/B两个版本,共8种接口变更(Table 1) · success、cost(valid成功率减out-of-date成功率) 等
威胁模型
无攻击者:工具接口发生静默变更(silent change),旧请求被照常接受、未知字段被忽略、无报错;智能体带有变更前获得的经验,需在新版本上完成任务。
被测模型
GLM-5.3-FlashMuse-Glimmer-30BDeepSeek-V4-FlashMiniMax-M3Qwen3.8-FlashInkling
基准
三个自建服务(calendar、task list、mail client),各含A/B两个版本,共8种接口变更(Table 1)
指标
successcost(valid成功率减out-of-date成功率)lookupold usageread-backmodel calls失败被报告为完成的比例
AI 导读和推荐理由eBay 等机构研究者的受控实验发现,工具静默变更后,带过时经验的智能体大多失败而无经验者大多成功,作者称之为 Experience Rot。实验在自建的日历、任务列表、邮件服务(各设两个版本)上测试 DeepSeek-V4-Flash、Qwen3.8-Flash 等六个模型,共 12,624 个回合;文档不完整时,无经验、有效经验、过时经验的成功率分别为 63%、100%、23%。有经验的智能体照抄早前调用而不检查当前接口,即使工具定义已列出变更,完整文档下 348 个失败运行中 347 个仍报告任务完成;对话历史、记忆文件、检索记忆和技能四种存储都受影响,经验越多失败越重。补救上,宣布更新几乎无效,把文档附在请求且其含答案时成功率 99%,写入后回读检查达 91%(不完整文档 69%)但模型调用翻倍以上;作者提醒,含回读步骤的手写历史评估只测到约五分之一的代价。

eBay 等机构研究者的受控实验发现,工具静默变更后,带过时经验的智能体大多失败而无经验者大多成功,作者称之为 Experience Rot。实验在自建的日历、任务列表、邮件服务(各设两个版本)上测试 DeepSeek-V4-Flash、Qwen3.8-Flash 等六个模型,共 12,624 个回合;文档不完整时,无经验、有效经验、过时经验的成功率分别为 63%、100%、23%。有经验的智能体照抄早前调用而不检查当前接口,即使工具定义已列出变更,完整文档下 348 个失败运行中 347 个仍报告任务完成;对话历史、记忆文件、检索记忆和技能四种存储都受影响,经验越多失败越重。补救上,宣布更新几乎无效,把文档附在请求且其含答案时成功率 99%,写入后回读检查达 91%(不完整文档 69%)但模型调用翻倍以上;作者提醒,含回读步骤的手写历史评估只测到约五分之一的代价。

推荐理由论文用受控实验量化了工具静默变更后过时经验的代价,并比较多种补救措施,构建智能体记忆系统的团队可对照借鉴。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    工具静默变更时,智能体复用旧成功经验反而失败,作者称之为Experience Rot。

    核心问题:当工具接口发生静默变更时,智能体从自身成功经验中学到的用法会变成错误,而智能体不会察觉,照样复用并报告成功。

    • 场景与重要性:智能体越来越多地保留对话历史、记忆文件、检索笔记和技能以复用经验,但这只在工具不变时成立。作者指出真实接口已存在歧义(如Todoist优先级1与4在两个MCP server中含义相反),且MCP server可在会话中替换工具定义、SilentProbe测得五个生产API端点中四个会静默忽略未声明参数(Figure 1a)。
    • 现有研究缺口:一篇智能体记忆综述把这类变更列为开放问题(Du, 2026),且对变更的适应尚未被测试(Qian et al., 2026);以往工作多固定环境、只改变经验内容。
    • 核心观察:作者发现静默变更后有经验的智能体在多数任务上失败,而无经验的新手大多成功;文档不全时经验从"成功的关键"变成"比没有更糟"(Figure 1c)。
    • 论文提出什么:一个受控实验设计(每对服务版本仅差一处接口细节,变更静默),分离智能体自身经验的影响;命名该失败为Experience Rot;并系统测试记忆形式、经验量、补救措施和手写历史的影响。
    • 设定(非攻击):论文无攻击者。变更是静默的:旧版本才合法的请求被照常接受并返回相同响应,未知字段被忽略,整数值按当前版本解释;受害方是带有变更前经验的智能体。
  2. 有哪些相关研究?

    相关研究分四组:经验复用、工具变更、陈旧记忆、可见信息与静默失败;本文固定经验、改变环境。

    跟随自身经验

    • Xiong et al. (2026)——提出experience-following:有记忆的智能体在输入相似时复现过往输出,存储经验中的错误会传播。
    • Wan et al. (2026)、Chen et al. (2026a)、Laban et al. (2025)、Sinha et al. (2025)——多轮对话中的各类惯性:模仿自己先前的回答、坚持早期推理与假设、看到自己的错误后出错更多。
    • 论文指出这些工作都固定环境、只改变经验或对话;本文固定经验内容、改变环境,并测量智能体复用前是否检查环境。

    工具变更

    • MCPEvol-Bench(Liu et al., 2026)——对123个真实MCP server施加变异算子,演化后成功率下降。
    • ProEvolve(Li et al., 2026a)——为同一任务生成环境的关联版本;其作者从失败分析推测智能体对工具存在过时信念,本文用受控操纵检验这类解释并直接测量lookup。
    • ToolEVO(Chen et al., 2025)、SKILL.nb(El Hattami et al., 2026)、ScrambleToolBench(Toh et al., 2026)、MemDrift(Dabas et al., 2026)——分别从显式错误训练适应、网页界面变化下workflow记忆掉11–14分、工具标识置换下的信念惯性、记忆中的偏好漂移工具参数。

    陈旧记忆

    • STALE(Chao et al., 2026)、Fan et al. (2026)、Nakayashiki (2026)——记忆是否仍有效、状态漂移、继承记忆中的过时约束(验证预算为4时88.7%会核查来源)。
    • Hu et al. (2026)——详细轨迹记忆妨碍适应新任务,抽象程序性记忆迁移更可靠。论文指出这些研究大多由作者手写记忆,本文用智能体自己的经验,并证明手写历史会改变测得的代价(Section 8)。

    可见信息与静默失败

    • Engländer et al. (2026)——智能体很少利用环境中遇到的有用信息,放进任务提示词则pass@1从55.88升至76.25;本文在上下文内发现类似的位置效应。
    • Li et al. (2026b)——生产API中仅写在散文里的约束61条中44条静默失败,机器可检查的111条无一失败;本文的静默变更遵循这些观察设计。

    定位:作者称本文的区别在于固定智能体经验内容、只改变环境,并直接测量复用前的检查行为;无对比基线方法,基准为作者自建的三个双版本服务。

  3. 论文如何解决这个问题?

    三个双版本服务、静默变更、三组经验臂对照,程序判定成功,多数条件预注册。

    整体思路:让每个服务有A/B两个仅差一处接口细节的版本,智能体先在某版本上完成"先前任务"获得经验,再做"最终任务",通过三组臂(无经验/有效经验/过时经验)的对照分离经验本身的影响。框架无专门名称,失败现象命名为Experience Rot。

    服务与变更设计

    • 三个服务:calendar、task list、mail client,工具采用function calling/MCP形式的类型化定义(名称、描述、JSON schema),另有read tools和docs_search(附录B)。
    • 八种变更(Table 1):字段名(attendees→guests)、结构(end_time→duration_minutes)、取值集合、优先级方向(1最高 vs 4最高)、星期编号(0=周一 vs 0=周日)、月份编号、时长单位(仅用于文档不全条件)。前三类变更在工具定义中可见,其余仅文档可见。
    • 静默变更:仅在另一版本合法的请求被接受并返回与正确请求相同的响应;未知字段被忽略,未知值不改变存储状态,整数按当前版本解释。read tools以中性措辞返回存储状态,智能体总能核查写入结果。

    实验流程(episode)

    • 先前任务:智能体实时完成,存储状态须匹配请求才算成功,失败重试至多10次;最终任务作为同一会话的下一条消息。
    • 三组臂:valid(先前任务与最终任务同版本)、out-of-date(先前任务在另一版本)、none(无先前任务)。每个变更双向运行(A→B与B→A),所有臂用相同任务实例。
    • 文档条件:完整文档给出字段、取值及含义;不完整文档只给取值范围(如"priority是1到4的整数"),此时先前请求中会说明该版本取值的含义,最终请求不说明。

    变体条件

    • 记忆形式(Section 6):对话历史、记忆文件、检索记忆(取最匹配的三条)、技能(可复用Python脚本加笔记);这些条件下最终请求引用先前任务的信息,使经验成为必需。
    • 经验量:1、3、10个先前任务。
    • 补救措施(Section 7):版本号加更新通知、读文档指令(系统提示词或任务消息)、文档放置位置(工具描述/系统提示词/任务消息)、写后核对指令、写入返回存储对象。
    • 先前任务作者(Section 8):智能体自己做 vs 研究者手写(含/不含read-back步骤)。

    测量与统计

    • 成功判定:程序检查最终任务后的存储状态是否匹配请求;cost定义为valid成功率减out-of-date成功率。另记录lookup(首次写入前查文档)、old usage(首次写入用旧版本用法)、read-back、模型调用数、最终回复是否报告完成(附录G.9用关键词模式判定)。
    • 模型与统计:六个模型(GLM-5.3-Flash、Muse-Glimmer-30B、DeepSeek-V4-Flash、MiniMax-M3、Qwen3.8-Flash、Inkling),同一简单agent loop,temperature 0.7,每任务至多16次模型调用。共12,624个episode,排除136个。估计值按模型、变更、方向汇总,报告±一个标准误(对任务实例做cluster bootstrap,10,000次重复)。
    • 预注册:完整文档的大多数条件在运行前预注册了设计、预测、排除规则和分析代码,所有预注册预测均成立(附录F);不完整文档条件未预注册。
  4. 论文做了哪些实验?

    六模型12,624个episode:过时经验在各条件下降低成功率,查文档率至多6%,补救仅两种有效。

    实验设置

    • 被测模型:GLM-5.3-Flash、Muse-Glimmer-30B、DeepSeek-V4-Flash、MiniMax-M3、Qwen3.8-Flash、Inkling,均用原生工具调用,temperature 0.7,每次调用至多4,096输出token(附录E)。
    • 基准:自建calendar、task list、mail client三服务,各A/B两版;8种变更(Table 1),每个变更双向运行。
    • 规模:12,624个episode,排除136个(9个模型请求失败、127个先前任务未成功,多在weekday变更);每模型2,104个episode(Table 2)。
    • 指标:success(程序判定存储状态匹配请求)、cost(valid−out-of-date)、lookup、old usage、read-back、model calls、失败被报告为完成的比例。
    • 评审方式:成功由程序判定;推理文本与完成报告用关键词模式分类(附录G.7、G.9),无LLM评审。
    • 统计:cluster bootstrap(10,000次重复)给出±一个标准误;完整文档多数条件预注册,所有方向性预测成立(Table 3)。

    主结果

    据Table 4(六模型汇总,success):

    表格较宽,可左右滑动

    条件无经验有效经验过时经验cost
    文档不全,数值含义(4种变更)0.631.000.230.77
    文档完整,字段/取值,无类型工具1.001.000.260.74
    文档完整,字段/取值在定义中1.001.000.490.51
    文档完整,数值含义0.881.000.420.58
    • 作者称文档不全时经验是成功的关键(63%→100%),变更后同样的经验使智能体比无经验更差(23%);四种变更各自的过时成功率在15%到31%之间(Table 17)。
    • 文档完整时,即使工具定义就列着新字段(guests),智能体仍写旧字段(attendees),成功率49%(Figure 1b、Table 4)。
    • 失败被报告为成功:文档完整时347/348的失败运行最终回复称任务完成,文档不全时为92%(附录G.9)。

    机理:有经验的智能体停止检查

    • 查文档率:无经验智能体在仅文档给出字段时100%查文档、数值含义变更时70%查;有经验者(无论经验是否过时)至多6%(Figure 3a)。先前任务本身足以造成此现象:144个先前任务中135个无lookup,其中61%的首次写入仍复用旧字段。
    • 不区分经验新旧:过时经验组与有效经验组引用先前任务的比例几乎相同(0.25 vs 0.24,Table 11)。
    • read-back决定恢复:写旧用法后read-back的97次运行中94次成功;不写read-back的184次中183次失败(Table 12)。Qwen3.8-Flash每次写后都read-back,文档完整时过时经验成功率100%;MiniMax-M3、DeepSeek-V4-Flash、Inkling从不read-back(Figure 3c、Table 8)。

    记忆形式与经验量

    • 四种记忆形式都受影响(Table 5):任务必需经验时无经验成功率仅3–10%;cost在对话历史中为0.53,记忆文件0.27、检索记忆0.20、技能0.30。60–73%的记忆文件和92%的技能笔记记录了旧版本的字段或取值。
    • 笔记形式代价更低:笔记组查文档率24–34%,对话组2%;作者注明未测试原因,并引Hu et al. (2026)称抽象记忆迁移更可靠。
    • 经验越多越糟(Table 7):1、3、10个先前任务时,过时经验成功率从46%降到33%、26%,有效经验保持97–100%,lookup率从4%降到0%。

    补救措施与手写历史

    • 告知变更几乎无效:版本号加更新通知仅把成功率从46%提到50%(Table 6);记忆文件加版本标签仅把cost从0.27降到0.20(Table 5)。
    • 指向文档只在贴着请求且文档有答案时有效:系统提示词中的读文档指令把成功率降到29%(先前任务遵守率98%,最终任务仅4%);同一指令附在任务消息中则所有智能体都查文档、成功率99%;文档本身放在任务消息中99%,放系统提示词或工具描述中54–55%。文档不全时指令让所有人都查但文档无答案,成功率仍为25%(Table 16)。
    • 写后核对有效但调用翻倍:核对指令使成功率达91%(文档完整)和69%(文档不全),模型调用6.5和10.6次,对比有效经验的2.9和3.1次;写入返回存储对象使成功率从45%升到79%(4.6次调用),剩余77个失败中59个收到显示错误状态的对象后未再写入(附录H)。
    • 手写历史掩盖问题(Figure 6、Table 7):含read-back步骤的手写历史下过时成功率88%(自身先前任务仅46%),测得cost约0.11对比0.54;去掉read-back步骤后read-back率降到17%、成功率58%。

    其他消融与分析

    • 按模型(Table 8):Qwen3.8-Flash过时经验成功率1.00,MiniMax-M3仅0.05;所有模型在文档放入任务消息时成功率至少97%。
    • 按变更(Table 9):reply-default变更无cost(过时经验成功率1.00,智能体每次都显式设置scope)。
    • 工具定义可见的变更被复用旧用法的比例更低:old usage为69%,仅文档描述的变更为99%(Section 9)。
    • 有效经验下附加读文档指令:成功率保持100%,但模型调用从2.92升到3.55,输入token从3,839升到5,361(附录I)。
    • 排除的episode集中在三个模型的weekday版本(0=周一)先前任务从未成功,其weekday估计以先前任务成功为条件(Limitations)。
  5. 有什么可以进一步探索的点?

    作者列出服务合成、任务短、文档始终正确等局限;实验覆盖六模型、三种服务、八种变更。

    作者指出的局限与后续方向

    • 服务是合成且小规模的,每对版本仅差一处接口细节;真实变更常成组出现且有些产生部分错误,作者称选择单一静默变更是为了分离经验的影响(Limitations)。
    • 任务短,经验仅由1到10个同类先前任务组成(Limitations)。
    • 完整文档条件下文档始终正确且一次调用可得;实践中文档可能落后于服务(Limitations)。
    • 不完整文档条件下先前请求直接说明取值含义,经验含显式规则;未测试需要智能体自行试出的经验(Limitations)。
    • 六个模型运行同一个最小agent loop;带自有规划或验证步骤的agent框架可能表现不同(Limitations)。
    • 多数补救措施只在经验存于对话历史的条件下测试(Limitations)。
    • 作者称尚未确立智能体停止检查的原因;数据与experience-following一致,且文本放置位置有影响(Discussion/Mechanism)。
    • 工具设计方面,作者称拒绝未知字段可把静默变更变成错误,但未测试(Discussion)。

    实验覆盖范围

    • 被测模型为GLM-5.3-Flash、Muse-Glimmer-30B、DeepSeek-V4-Flash、MiniMax-M3、Qwen3.8-Flash、Inkling,共6个,均用同一简单agent loop(Section 3.3)。
    • 环境为3个自建服务、8种变更,每种双向运行;共12,624个episode,每模型2,104个(Table 2)。
    • 补救评测覆盖:版本号与更新通知、读文档指令(两个位置)、文档三个放置位置、写后核对指令、写入返回存储对象、记忆文件加版本标签或当前文档(Section 7)。
    • 记忆形式覆盖对话历史、记忆文件、检索记忆、技能四种;经验量覆盖1、3、10个先前任务(Section 6)。
    • 不完整文档条件未预注册;标准误把模型和变更视为固定,不覆盖未测试的服务或模型间的差异,作者称可能偏乐观(Limitations)。
  6. 总结一下论文的主要内容

    工具静默变更下,智能体的成功经验变成隐患:复用旧调用、不查文档、报错为成功。

    一篇关于智能体记忆风险的实证研究:当工具接口静默变更时,智能体自身曾经的成功经验会变成错误来源,作者命名为Experience Rot。

    • 问题:智能体复用对话历史、记忆文件、检索笔记和技能中的经验,但这依赖工具不变;真实接口会静默变更(旧调用被接受、未知字段被忽略、无报错)。
    • 方法:自建calendar、task list、mail client三个服务,各设A/B两版仅差一处接口细节;智能体先实时完成先前任务获得经验,再做最终任务,对照无经验、有效经验、过时经验三组;六模型、12,624个episode,程序判定成功,多数条件预注册。
    • 主结果:文档不全时,有效经验把成功率从63%提到100%,过时经验降到23%;文档完整时,无经验成功率88–100%,过时经验降到26–49%,即使工具定义列着新字段也照样写旧字段(Table 4)。
    • 机理:有经验后首次写入前查文档的比例至多6%(无经验时70–100%);写旧用法后read-back的97次中94次恢复,不read-back的184次中183次失败;347/348的失败运行最终向用户报告任务完成。
    • 补救:告知变更几乎无效(50%);文档或读文档指令只有贴在任务消息中且文档含答案时才有效(99%);写后核对达91%但模型调用从2.9升到6.5次以上。
    • 评测启示:含read-back步骤的手写历史下测得cost约0.11,而智能体自身经验下为0.54;作者称记忆评测应使用智能体自己的轨迹并包含不完整文档。
    • 作者结论:存储"什么有效"不够,记忆系统还需要发现存储用法已失效的机制;在文档可能不全时,写后核对结果是更可靠的选择。
阅读原文arxiv.org