Continual Learning Exam：评测 LLM 智能体的长程 RSI 与经验学习

核心问题：如何评测 LLM 智能体在长时程任务序列中通过积累、保留和复用经验而持续改进的能力（continual learning），而现有基准大多只测单任务表现。

• 问题场景：作者认为，持续学习对智能体长期部署必不可少——智能体应能适应环境变化、在过往经验上积累、避免重复犯错，例如从一次失败的工具调用中改进工具使用流程并复用。
• 现有评测的不足（按论文说法）：GAIA 等通用能力基准把任务独立呈现和打分，只刻画解题表现；LoCoMo 等记忆基准以问答测检索与推理，不评估保留的知识是否改进后续任务执行；WildClawBench 等 Claw 系基准虽有持久状态和长工具轨迹，但持久状态本身不能证明智能体因经验而变强。
• 核心设计假设：评测累积改进需要一串受控反馈条件下支持经验复用的任务尝试。CLE 把每个任务组织成五级任务梯，后续关卡建立在先前关卡积累的经验之上，围绕五种可迁移知识（Tools and Skills、Data Dependency、Strategy、User Context、Domain Knowledge）设计关卡间联系。
• 论文产出：CLE 基准——120 个人工编写并核验的任务（600 关），覆盖 12 个职业领域、89 种职业角色，配 23,981 个真实输入文件、19 个有状态模拟应用（1,024 个 API）、16,125 条人工评分细则，以及一个多轮评审智能体；并对 4 个 harness、11 个骨干模型的 17 个配置做了评测。
• 评测设定（非对抗，无威胁模型）：被测智能体参数冻结，harness 状态跨任务保留；Trial 1（K=1）每关只允许一次提交、无诊断反馈，Trial 2（K=2）首次失败后可依据 rubric 类别的诊断反馈修订并再提交一次。

通用智能体能力基准

• GAIA、SWE-bench、OSWorld、WebArena、Terminal-Bench 等——通过问答、软件工程到日常流程的任务测推理、规划、工具使用，以答案正确或任务完成计分。论文指出这类基准把任务独立打分，刻画的是解题表现而非随学习产生的改进。
• Agents' Last Exam（2026）——覆盖多行业、专家开发的长时程可验证任务；ClawMark（2026）——多日工作流、有状态服务、确定性验证器；WildClawBench（2026）——在部署的命令行 harness 内用真实工具跑任务，结合规则检查、环境状态审计和模型判断。论文称这些基准刻画了不同领域和工作流长度下的解题表现，而 CLE 测的是相互关联、允许经验积累的职业任务。

记忆与上下文学习基准

• LoCoMo（2024）——以问答、事件摘要、多模态对话生成测长期对话记忆；LongMemEval（2025）及其 V2（2026）——测跨会话推理、知识更新追踪，以及关于 web 智能体状态变化和反复失败模式的记忆。
• CL-bench（2026）——用专家编写的任务测从上下文中获取并应用新领域知识、规则和流程。论文称 CLE 改由职业任务结果来评估知识复用，且由各 harness 自行决定保留什么、怎么用。

经验积累与复用基准

• LifelongAgentBench（2025）——数据库、操作系统、知识图谱环境中的技能关联任务，顺序评估知识迁移；MemoryArena（2026）——把记忆形成与后续行动耦合的人工编写子任务。
• SkillFlow（2026）——任务按共享工作流组织成族，智能体从执行轨迹和 rubric 反馈中更新技能并复用；StuLife（2025）——模拟大学生活各阶段的经验积累；SEA-Eval（2026）——在顺序任务流上跟踪成功率和 token 消耗。

对比定位：Table 2 沿任务设计、学习协议、反馈与评分三条轴、九个标准对比 23 个基准，CLE 在全部九项上标为满足（含 Tiered tasks、Cross-level reuse、Config. attempts、Milestone feedback、Agentic judge、Audit trail），其他基准均缺其中若干项。作者据此称 CLE 把职业任务执行、显式学习协议下的经验复用和可审计评分结合在一起。论文未设方法基线，对比对象是 4 个 harness 与 11 个骨干模型的组合。

整体思路：把持续学习评测做成一场"职业考试"——每个任务是一条五级递进任务梯，智能体须通过当前关才能解锁下一关，后续关卡依赖先前关卡积累的知识与产物；评分由评审智能体对照人工细则执行。框架名为 Continual Learning Exam (CLE)。

任务梯与可迁移知识

• 任务结构：120 个任务，每个对应一种职业角色，五个关卡 L1–L5 是同一工作情境下的不同任务委派；通过当前关才解锁下一关，未到达的关记为失败。
• 五种可迁移知识：Tools and Skills（复用工具用法与流程）、Data Dependency（把先前信息和产物作为后续输入）、Strategy（复用有效方法、避开已知陷阱）、User Context（沿用交互中学到的用户偏好）、Domain Knowledge（在新要求下应用专业规则与惯例）；联系不限于相邻关卡。
• 诊断反馈：反馈来自人工 rubric 的评估类别，只指出相关类别，不泄露具体检查项和参考答案；K=1 无反馈，K=2 首次失败后可修订再提交一次。

环境与数据构建

• 有状态模拟服务：19 个模拟应用暴露 1,024 个 API，同一任务梯内共用同一应用数据库，使早前操作的效果延续到后续关卡；每个应用的数据库每次运行单独初始化。
• 真实输入文件：23,981 个文件、77 种扩展名，保留重复记录、冲突信息等噪声；508 关为英文、92 关为中文。
• 构建流程（Figure 7）：50+ 行业专家基于自身岗位工作起草任务 → 评审智能体按人类专家迭代的 review skill 做自动审查（格式、文件真实性、答案泄露、rubric 可验证性、持续学习设计），并以被测智能体身份真实跑通任务 → 给出 Strong Accept 到 Reject 五档结论 → Accept 及以上进入两名随机分配的人类评审各自独立全量复审，两人都接受才收录。

形式化与评测协议

• 持续学习定义：(θ_n+1, s_n+1) = U_n(θ_n, s_n, e_n)，即学习算子 U 用经验 e 更新模型参数 θ、持久状态 s 或两者；冻结模型时只更新 harness 状态 s（记忆、技能等）。
• POMDP 建模：交互建模为 M^A = ⟨ 𝒳, 𝒜, 𝒪, P, Ω, R ⟩；提交动作触发评审，通过得奖励 1、否则 0，目标是期望累计奖励（等于通过关卡数），完成率按 600 关计算。
• 评测协议：主实验用全部 120 个完整任务梯（block B=(j,1,5)），按固定顺序串行执行，harness 状态跨任务保留、模型参数冻结；也支持从任意关卡开始的自定义 block（人工准备前置产物）。
• 评审方式：多轮评审智能体在隔离 Docker 环境中用工具从提交产物和应用状态提取证据，对照人工核验的参考材料逐条判定；全部检查项满足才算通过。评审智能体基于 DeepSeek V4 Flash，与人工参考标签的条目级一致率为 96.86%（附录 D，Table 4）。

实验设置

• 被测系统：4 个 harness（Claude Code、Codex、Hermes-Agent、OpenClaw）× 11 个骨干模型（GPT-5.6-Sol/Terra/Luna、Claude Opus 5、Claude Sonnet 5、Gemini 3.7 Flash、Doubao-Seed-Evolving、Qwen3.8-Max、Hy3、DeepSeek V4 Pro、GLM 5.3），共 17 个配置（Table 1）。
• 协议：每个系统把 120 个任务梯按固定顺序串行跑一遍；Trial 1（K=1）每关一次提交无反馈，Trial 2（K=2）首次失败后可按诊断反馈修订再提交一次。
• 指标：完成率（600 关中通过比例）、逐级通过率 Lk（前 k 关全过的任务比例，L5 即整任务完成）、Actor tokens、累计执行时间、费用（USD）。
• 评审：评审智能体基于 DeepSeek V4 Flash；在 12 个任务、60 份提交、732 个 rubric 条目的验证样本上与人工参考标签一致率 96.86%（Table 4）；556 个条目三次重复评分一致率 99.46%（Table 5）。
• 推理设置：reasoning effort 和 thinking mode 用各智能体与模型的默认设置；论文未报告重复运行被测系统的次数。

主结果

据 Table 1（Trial 2，K=2；括号内为 Trial 1 完成率）：

表格较宽，可左右滑动

Harness / 模型	完成率	L1	L5	费用
Claude Code / Opus 5	47.67% (42.17%)	85.83%	23.33%	$720.56
Claude Code / Sonnet 5	40.17% (27.00%)	74.17%	19.17%	$506.30
Hermes-Agent / Gemini 3.7 Flash	33.67% (25.33%)	62.50%	15.83%	$394.84
Codex / GPT-5.6-Sol	33.17% (27.83%)	65.00%	17.50%	$210.83
Codex / GPT-5.6-Terra	33.17% (27.83%)	68.33%	12.50%	$83.16
Hermes-Agent / Qwen3.8-Max	26.67% (25.67%)	74.17%	2.50%	$134.54
OpenClaw / Hy3	14.00% (9.83%)	37.50%	5.83%	$11.95
OpenClaw / GLM 5.3	11.50% (6.17%)	27.50%	2.50%	$80.50

省略的配置：Codex/GPT-5.6-Luna、Hermes-Agent 的 Doubao-Seed-Evolving/Hy3/DeepSeek V4 Pro/GLM 5.3、OpenClaw 的 Gemini 3.7 Flash/Doubao-Seed-Evolving/Qwen3.8-Max/DeepSeek V4 Pro（均见 Table 1）。

• 整体水平：作者称 CLE 远未饱和——Trial 2 中 17 个配置的 L1 中位通过率 62.50%，L5 仅 8.33%；Opus 5 在 Trial 2 完整通过 28/120 个任务。
• 反馈与修订：16/17 个配置 Trial 2 完成率更高，中位提升 5.33 pp；Sonnet 5 提升 13.17 pp（大于 Opus 5 的 5.50 pp），OpenClaw/DeepSeek V4 Pro 下降 1.33 pp（Figure 9B）。
• 提升不一定延伸到高关卡：两个 Qwen3.8-Max 配置 L1–L3 通过率上升但 L4–L5 不变（Table 1）；Sonnet 5 完整任务数从 8 增至 23。

Harness 对比

• 测了什么：Hermes-Agent 与 OpenClaw 在 6 个共享骨干模型上对比（Figure 16、附录 F.3）。
• 结果：两种提交预算下 Hermes-Agent 在每个骨干上完成率都更高；平均优势从 Trial 1 的 9.56 pp 增至 Trial 2 的 11.42 pp（Trial 2 均值 28.17% 对 16.75%）。
• 代价：Trial 2 中 Hermes-Agent 的平均 actor token 和费用分别是 OpenClaw 的 1.90 和 1.71 倍；作者指出这些总量覆盖到达不同关卡的运行，不能证明匹配工作量下的效率。

模型代际对比

• 测了什么：Gemini 3.6/3.7/3.8 Flash 配 Hermes-Agent，固定 harness、任务集与顺序（Table 7，附录 F.4）。
• 结果：Trial 1 完成率 3.7 为 25.33%，高于 3.6 的 21.00% 和 3.8 的 21.17%；Trial 2 中 3.8 提升 9.50 pp 但仍低于 3.7（30.67% 对 33.67%），且 3.8 消耗更多 token（795.78M 对 486.25M，Trial 1）。
• 作者解读：在这三代模型上，表现并不随模型更新持续改进。

其他消融与分析

• 任务推进（Figure 13）：Trial 1 每个配置都有过半任务在通过 0 或 1 关后终止（61/120 到 115/120）；Trial 2 仅 Opus 5 低于半数（52/120）。
• L1 与整体的相关性：Trial 2 中 L1 通过率与总完成率的 Spearman ρ=0.75，与 L5 仅 ρ=0.42。
• 条件通过率（Figure 14）：相邻关中位条件通过率从 L1→L2 的 50.00% 升至 L4→L5 的 75.00%（Trial 1）；作者指出这是在越来越有利的任务子集上测的，且 L4→L5 的中位分母只有 14 个任务。
• 资源权衡（Figure 10）：Trial 2 中 Codex/Terra 与 Sol 完成率同为 33.17%，但 Terra 花 $83.16/20.20h、Sol 花 $210.83/28.20h，而 Sol 完整任务数 21 多于 Terra 的 15。

作者指出的局限与后续方向

• 反馈与知识保留未分离（4.2 节）：Trial 1/2 的对比把诊断反馈和额外修订机会合并评估；作者提出可用一个在每个任务前重置 harness 到初始知识状态、其余条件固定的对照来评估跨任务保留知识的贡献（论文未做该实验）。
• 用于后训练（摘要）：作者称该数据集也可用于后训练（post-train）LLM 以增强持续学习能力，论文本身未做训练实验。
• 能力层级覆盖（2.2 节）：作者把持续学习能力分为 T1–T5 五个累积层级，称 CLE 为评估 T1–T5 提供基础，并指出现有系统（如 Claude Cowork、Codex）的预设记忆与技能工作流对应 T1、其中初现 T2 自主性；主实验未按层级报告结果。
• 论文没有单独的 Limitations 章节，以上出自正文相应小节。

实验覆盖范围

• 被测系统：4 个 harness × 11 个骨干模型共 17 个配置，另加 Gemini 3.6/3.8 Flash 的代际对比（Table 1、Table 7）。
• 协议范围：全部 120 个任务梯按一个固定顺序串行执行，模型参数冻结，仅 harness 状态跨任务保留；提交预算只测了 K=1 与 K=2 两档。
• 评审可靠性：评审智能体为 DeepSeek V4 Flash；与人工一致率基于 12 个任务、60 份提交、732 个条目（Table 4），重复性基于 556 个条目三次评分（Table 5）。
• 论文未报告：被测系统每次运行的重复次数与方差；各配置的上下文长度、最大步数等执行预算的具体数值（正文只提到存在 execution budgets）。
• 语言与领域：600 关中 508 关英文、92 关中文；12 个职业领域各 7–13 个任务（3.5 节）。

CLE（Continual Learning Exam）是一个评测 LLM 智能体持续学习能力的基准，针对现有基准只测单任务表现、测不了经验积累带来的持续改进这一问题。

• 设计：50+ 行业专家编写 120 个真实职业任务，每个组织成五级递进任务梯（共 600 关，覆盖 12 个领域、89 种角色），关卡间通过五种可迁移知识关联；环境含 23,981 个真实输入文件和 19 个有状态模拟应用（1,024 个 API）；评审智能体对照 16,125 条人工细则逐条判定，全过才算通过。
• 协议：被测系统参数冻结、harness 状态跨任务保留，串行跑全部任务梯；Trial 1 每关一次提交无反馈，Trial 2 首次失败后可按 rubric 类别的诊断反馈修订一次。
• 主要结果：17 个 harness–模型配置中，Trial 2 完成率最高为 Claude Code/Opus 5 的 47.67%，完整通过全部五级的任务仅 23.33%；反馈加修订使 16/17 个配置提升，中位 +5.33 pp，但 OpenClaw/DeepSeek V4 Pro 下降 1.33 pp，且提升不一定延伸到高关卡（两个 Qwen3.8-Max 配置 L4–L5 无变化）。
• 其他发现：Hermes-Agent 在 6 个共享骨干上均高于 OpenClaw（Trial 2 均值 28.17% 对 16.75%）；Gemini 3.6/3.7/3.8 三代对比中表现不随代际持续改进；评审智能体与人工标注的条目级一致率 96.86%。
• 作者结论：CLE 对当前模型和 harness 仍具挑战性，可用于开发和评估获取、保留、复用经验的方法，也可用于后训练 LLM 的持续学习能力。