DAEDALUS：用自生成任务自举 Agent 记忆

新环境没有现成任务和 oracle verifier 时，智能体难以积累可跨任务复用的操作知识。

• 场景：作者称 LLM 智能体已用于多种职业任务，自主性提高后环境更复杂、人工指导更少。没有程序记忆时，智能体逐任务重新摸索工具行为和环境约定，带来可避免的错误，以及更长、更贵的执行。
• 现有不足：常见做法是注入人工 guideline，或从目标分布的训练任务加 verifier 构建记忆；两者都要事先了解环境。测试时才积累经验，则最初任务没有记忆。作者称，越来越多环境在没有人工监督时被自动生成，这类监督因此更不可得。
• 观察：经验不必来自最终要支持的任务。作者把教训写成上下文中的文本 heuristic，并只在它把 Solver 起初的失败变成反复成功后才保留。
• 方法：DAEDALUS 不更新权重。Explorer 自生成可解任务和成功条件，Solver 尝试，验收后的 heuristic 汇入记忆库，测试时交给 base agent。

论文在 Related Work 中把先前工作分成程序记忆和自动出题，并在实验里点名对比基线。

• 轨迹反思：ExpeL（Zhao et al., 2024）对比成功与失败轨迹；AutoGuide（Fu et al., 2024）使 guideline 随上下文选用；ERL（Allard et al., 2026）与 ReasoningBank（Ouyang et al., 2026）从失败尝试写反思。论文指出，这些方法按产生该洞察的轨迹结果来保留它，并不确认它能帮智能体越过那次失败。
• 技能与其他记忆：Voyager（Wang et al., 2024）存储可执行代码技能；另一些工作用奖励优化打磨自然语言技能（Mi et al., 2026; Yang et al., 2026; Huang et al., 2026），论文称这需要 oracle verifier 或更新权重。记忆还可组织成 workflow（Wang et al., 2025）、演化 playbook（Zhang et al., 2026）或长期存储（Fang et al., 2026; Chhikara et al., 2025）。论文称其中多数从预定任务集收集经验，新环境并不提供该集合。
• 为训练而出题：自动探索被用来合成软件、计算机使用和通用应用环境中的智能体训练数据（Shi et al., 2026; Ramrakhya et al., 2026; Dong et al., 2026），课程可按进展调整难度（Sun et al., 2026; Xue et al., 2026）。Self-play 让模型同时当 proposer 和 solver（Liu et al., 2026; 2025; Lu et al., 2026），并用有难度且可验证的任务更新权重（Yue et al., 2026; Huang et al., 2026）。论文称这些工作里生成任务用于更新权重。
• 为记忆而出题：Voyager 用自动课程提议任务；SkillWeaver（Zheng et al., 2025）在网站上练习自提议技能；PREPING（Choi et al., 2026）从自提议任务建 playbook，并按可行性与完成分更新。论文称这几种方法主要偏向可行或扩大覆盖的任务，而 DAEDALUS 把任务校准到智能体能学会克服的失败上。

基线方法为无记忆 base agent、PREPING、AutoGuide、ReasoningBank、ERL、ExpeL、ACE，以及在训练任务上跑同一 Solver loop 的 DAEDALUS-curated。基准为 AppWorld、τ2-bench 和 AutomationBench。作者把本文与上述工作的区别放在两点：自己生成任务，并且只在 heuristic 把失败变成反复成功后才保留。

DAEDALUS 用一次性的 n 个 practice session，在不更新权重、也不使用现成任务或 oracle verifier 的前提下，建成文本 heuristic 库，测试时放入 base agent 的上下文（Figure 2）。

设定与角色

• 对象：一个部署在 agentic environment 中的 base agent。生成阶段另有辅助智能体：Surveyor、Explorer、Judge、Extractor、Consolidator。主实验里 Solver 与 base agent 用同一模型，辅助角色用同族更大的模型。
• 任务：每道题含指令和显式成功条件。附录 A 用伪代码写出生成、DAEDALUS-curated 和推理；附录 G 给出各角色提示词。
• 主实验超参：连续成功 Ns=3 次才验收，累计失败上限 Nf=8，任务修订上限 Nr=5。这些值来自 AppWorld 上少量初步 session，并原样用于另外两个基准。

失败到成功的验收

• 循环：Solver 从重置后的环境尝试任务，LLM Judge 用成功条件检查轨迹。失败后 Extractor 根据指令和失败轨迹书写或修订 heuristic，Solver 带上它重试（Figure 3）。Extractor 看不到哪些成功条件未满足；作者称这是为了减少针对单题的修补。
• 三种结局：成功前至少失败过一次，则接受该 heuristic；从未失败则任务过易；达到 Nf 次失败则过难。作者称要求连续成功而不是单次成功，是为了降低偶然成功通过验收的概率（附录 C）。
• 与先前做法的差别：作者对比称，先前方法按抽出记忆的那条轨迹的结果，或按任务可行性来验证；DAEDALUS 检验的是 heuristic 本身。

按 Solver 校准难度

• 出题：每个 session 中 Explorer 与环境交互，提出作者所称的现实任务，并自己完成，以确认可行。
• 修订：只有被接受的任务才产出 heuristic，因此 Solver loop 的结局同时是难度信号。过易则改难，过难过则改易，最多 Nr 次。用尽修订的 session 不贡献 heuristic。作者称该反馈把生成推向 Solver 能力边界上可恢复的失败。
• 参数检查：附录 C 的 Figure 9 标注入库前失败次数均值 2.2、成功 session 的修订均值 1.2；附录 E 称该图使用原始 session 中接受的 81 个任务，不含后来替换的 7 个。

降成本与部署

• Surveyor：第一个 session 之前探索一次，规定任务在各区域上的目标分布，Explorer 据此分散覆盖。
• guideline：需要修订的 session 结束后，修订历史被写成以后 session 使用的出题 guideline。
• 入库：全部 session 结束后，Consolidator 用一次 LLM 调用合并 heuristic，去掉重复或重叠建议，并保留可执行指导。库随后冻结。默认在每个测试任务开始时整库注入；逐轮检索留到 5.2 节比较。
• 执行接口：Solver harness 在 AppWorld 中执行 Python，其他环境使用函数调用，不增加环境本身没有的能力。

实验设置

• 划分：AppWorld 用官方 90/168 训练/测试，评测 normal test split，其任务与训练 split 使用相同 app。τ2-bench 只用 retail，官方 74/40；作者称 airline 含 ground-truth 错误，telecom 的 dual-control 在探索时需要模拟用户侧工具，故不用。AutomationBench 因计算成本只做 Operations，100 题按涉及服务数分层为 30/70。生成不访问测试实例，环境状态与使用训练任务的基线可用范围相同（附录 E）。
• 模型：AppWorld 与 τ2-bench 的辅助模型为 GPT-5.4，求解器和 base agent 为 GPT-5.4-mini；AutomationBench 为 GPT-5.6 Terra / GPT-5.6 Luna。τ2-bench 用户模拟器为 gpt-4.1-2025-04-14。迁移实验另用 Qwen3.8-Flash / Qwen3.6-35B-A3B 与 DeepSeek-V4-Pro / DeepSeek-V4-Flash。作者把各基线的辅助角色也放到同基准的较大模型上。
• 基线：无记忆；作者称据他们所知，PREPING 是既有方法中同样用自生成任务而非训练任务建记忆的方法；AutoGuide、ReasoningBank、ERL、ExpeL、ACE 使用训练任务；DAEDALUS-curated 在同样训练任务上跑 Solver loop，并用基准 verifier 代替 Judge。除 PREPING 使用作者发布的代码外，其余为本文重实现。
• 协议：为对齐基线可用题量，每个训练任务一个生成 session。每个方法建一个记忆库，五次独立推理，报告 MSR、pass^5 和标准误。费用按 OpenAI standard-tier、假设 prompt caching 完全命中计算，Table 1 的费用不含记忆生成。求解步数上限为 AppWorld 30、τ2-bench 200、AutomationBench 50。
• 生成配置：Explorer 单段上限 40 turn，同时 5 个 Explorer（附录 E）。AppWorld 生成排除只出现在 challenge split 的 Amazon 和 Gmail。
• 判定：论文未在 4.1 节写出 Table 1 的判定程序名称；5.1 节单独把生成用 LLM Judge 与 official verifier 对照。

主结果

表格较宽，可左右滑动

方法	AppWorld	τ2 retail	Operations
无记忆	44.3±1.1	57.5±1.6	31.7±3.2
AutoGuide	44.0±0.5	61.5±2.3	35.4±1.7
ReasoningBank	48.0±1.0	64.0±2.9	19.1±1.7
ExpeL	59.0±1.9	67.0±1.8	42.6±0.5
ACE	60.5±0.8	70.5±3.8	26.3±1.9
PREPING	56.0±1.4	60.0±1.8	34.9±1.5
DAEDALUS	60.2±0.9	67.5±2.5	36.0±1.5
DAEDALUS-curated	60.8±0.9	70.0±3.6	40.0±2.3

据 Table 1 的 MSR。前两列 base agent 为 GPT-5.4-mini，Operations 为 GPT-5.6 Luna。表中省略 ERL，其三列 MSR 为 58.6±1.3、64.0±3.6、33.4±1.5。

• 无训练任务：Table 1 中 DAEDALUS 的 MSR 与 pass^5 都高于无记忆和 PREPING。正文写 MSR 提高 15.9、10.0 和 4.3 个点。pass^5 为 32.1±3.6、37.5±7.8、21.4±4.9，基线为 14.9±2.8、22.5±6.6、12.9±4.0；作者称 pass^5 提高到 1.7× 至 2.2×。AppWorld 与 retail 的推理费用为 $3.2 和 $0.5，与无记忆相同；Operations 为 $1.2，高于无记忆的 $1.0，也高于 ReasoningBank 的 $0.7 和 ACE 的 $0.8。
• 与使用训练任务的方法：作者称六个 MSR 与 pass^5 列中有四列与该列最高结果处于误差范围内，落后的是 AppWorld pass^5（ACE 41.1±3.8，DAEDALUS 32.1±3.6）和 Operations MSR（ExpeL 42.6±0.5，DAEDALUS 36.0±1.5）。ReasoningBank、ACE 在 Operations 的 MSR 低于无记忆（19.1±1.7、26.3±1.9 对 31.7±3.2）；AutoGuide 在 AppWorld 的 MSR 为 44.0±0.5，低于 44.3±1.1。作者称 DAEDALUS 相对 curated 变体低 0.6、2.5 和 4.0 个 MSR 点，pass^5 差距在三个基准上都处于误差范围内。
• 费用与回合：作者称 AppWorld 与 τ2-bench 上相对无记忆没有额外推理费用，主要因为回合更少。Figure 1 横轴为 mean turns per task；作者称图中各 base agent 的 MSR 更高、回合更少。图中文字有若干百分点标注，纯文本无法逐一核对它们与模型的对应。

跨模型族迁移

• 测了什么：在 AppWorld 上用三组辅助/求解模型各建一个库，再分别交给三个 base agent（Table 2）。
• 结果：无记忆 MSR 为 GPT-5.4-mini 44.3±1.1、Qwen3.6-35B-A3B 44.8±1.3、DeepSeek-V4-Flash 80.6±1.6。九个增量都为正。GPT-5.4 / GPT-5.4-mini 库为 +15.9±1.4、+16.1±1.6、+8.3±1.8；Qwen3.8-Flash / Qwen3.6-35B-A3B 库为 +16.8±2.4、+29.3±1.7、+4.9±2.0；DeepSeek-V4-Pro / DeepSeek-V4-Flash 库为 +11.4±3.6、+14.5±1.3、+3.0±3.0。列顺序与无记忆行相同。
• 作者解读：作者称 base agent 不必使用本模型族的库，例如 GPT-5.4-mini 用 Qwen 库为 +16.8±2.4，用本族库为 +15.9±1.4。DeepSeek-V4-Flash 的增益为 3.0 到 8.3 个点；作者称因其无记忆基线为 80.6%，剩余空间较小。

生成流程消融

• 测了什么：AppWorld 上 90 个 session 的累计消融，辅助模型 GPT-5.4，Solver 与 base agent 为 GPT-5.4-mini（Table 3）。
• 结果：只从一条 100-turn Explorer 轨迹抽 heuristic 时 MSR 为 35.7±0.8，多 session 探索为 38.7±3.6，都低于无记忆 44.3±1.1。加入 Explorer 任务和 Solver 轨迹后为 54.5±2.8；再加上 Solver loop 为 59.0±1.4。guideline 使修订从 183 降到 161、生成费用从 $210.4 降到 $185.3，MSR 为 57.9±2.1。完整流程接受率 97.8%、修订 118、生成费用 $109.7，MSR 60.2±0.9。
• 作者解读：作者称 Solver 轨迹带来 +15.8 MSR，验收循环再带来 +4.5；探索本身不够，还会低于无记忆。guideline 与环境调查被作者用来解释生成费用：前者约降 12% 且 MSR 变化 −1.1、在标准误内，两者合起来相对只有 Solver loop 的配置降 48%。Figure 5 中作者称 Solver 与 Judge 费用因修订减少下降 60%。附录 E 说明 97.8% 含一次实验性过滤：7 个已接受任务因预期工具路径近重复被替换，该过滤不属于一般方法，也未用于其他基准。

推理时如何使用记忆

• 整库与合并：Table 6 使用 AppWorld 上 65 条合并后的 heuristic、GPT-5.4-mini。任务开始时注入合并库为 60.2±0.9 MSR、32.1±3.6 pass^5、$3.2。未合并未去重为 49.5±1.0、26.2±3.4、$4.9；只去重为 49.8±2.5、27.4±3.5。作者称合并使 MSR 比未合并高 10.7 个点，只去重没有拉开差距。
• 逐轮检索：每轮 5 条时，随机 51.7±1.5、BM25 52.0±1.3、Qwen3-Embedding-4B 54.3±1.6。作者称三者没有拉开差距，但高于无记忆。BM25 在 k=30 时为 58.2%，仍低于整库注入（Figure 7）。作者认为一种可能是：有用 heuristic 不一定与当前步骤语义相近。
• 低于无记忆的用法：另写检索查询的 R2R 为 MSR 44.2±1.2、pass^5 11.9±2.5、$14.8，相对 PRE-GEN 的 52.0±1.3、22.0±3.2、$3.8（Table 9）。瞬时放入检索结果的 pass^5 为 13.1±2.6，低于无记忆的 14.9±2.8（Table 10）。

其他消融与分析

• 探索预算：正文称 5 个 session 已超过 90 session 峰值改进的一半；超过 90 后 MSR 下降。140 session 单次合并为 53.7 MSR，分层合并为 54.6，都低于 90 session 的 60.2%（Figure 6、附录 B）。
• 辅助模型：全部辅助角色改用 GPT-5.4-mini 时，MSR 51.2±1.6、pass^5 20.2±3.1、生成费用 $67.2；GPT-5.4 为 60.2±0.9、32.1±3.6、$109.7（Table 5）。作者称仍比无记忆高 6.9 个 MSR 点和 5.3 个 pass^5 点。
• Judge：Table 4 中与 official verifier 的 κbench 为 AppWorld .807（N=168）、τ2-bench .749（N=40）、AutomationBench .729（N=70）；precision 均高于 recall。附录 B 将该范围写作 0.73–0.81。
• 排序代理：9 个无记忆模型、81 个被接受任务、每个任务集 3 次；MSR 与 pass^3 的 Kendall τ 均为 0.89（p<.001），36 对中 34 对顺序一致（Section 5.3）。作者认为绝对成功率不同，是因为任务按 GPT-5.4-mini 校准。
• 反事实重放：81 个 AppWorld 任务上各跑 3 次，带已接受 heuristic 时 MSR 从 66.7% 到 77.0%，pass^3 从 40.7% 到 55.6%；配对 bootstrap 的 95% 区间为 [2.1, 18.5] 与 [1.2, 28.4]，作者称两者都不含 0（附录 C）。
• Extractor：在官方 AppWorld 任务上只更换 Extractor 时，GPT-5.4 high 的 MSR 为 60.8±0.9，GPT-5.4-mini high 为 57.1±1.1、关闭 reasoning 为 53.8±1.4（Table 8）。作者称相对无记忆的增益从 16.5 降到 12.8，再降到 9.5 个 MSR 点。

作者指出的局限与后续方向

• 一次建成并冻结（附录 B、结论）：记忆库在部署前建成，测试时保持冻结。作者把结合部署经验继续更新留给后续工作，并称初步的迭代方案没有带来一致增益。
• 环境假设（附录 B）：方法假设 Explorer 能在可重置环境中独立设题并完成。作者写明 τ2-bench telecom 这类 dual-control 尚未支持。
• 验证信号（附录 B、结论）：成功只由 LLM judge 对照自写条件判断。附录 B 写与官方 verifier 的 κbench 为 0.73–0.81，并称之为 imperfect。作者提出代码任务可用可执行 verifier 补充或替换 judge，并把多 judge 验证列为下一步。
• 库变大之后（结论、附录 B）：AppWorld 上超过 90 个 session 后表现下降。作者列出的开放问题包括库的组成与覆盖如何随环境变化、库变大后如何合并，以及何种检索能在推理时利用大记忆。附录 B 报告 140 session 的单次合并与分层合并总体都低于 90 session 库，并称差距主要在三个小类别，部分 heuristic 丢失了适用范围。

实验覆盖范围

• 主结果比较无记忆、PREPING、AutoGuide、ReasoningBank、ERL、ExpeL、ACE 和 DAEDALUS-curated，基准为 AppWorld normal（90/168）、τ2-bench retail（74/40）和 AutomationBench Operations（100 题按服务数分层 30/70）。
• 默认求解/base agent 为 GPT-5.4-mini 与 GPT-5.6 Luna；Table 2 还包括 Qwen3.6-35B-A3B 和 DeepSeek-V4-Flash。Figure 1 的文字还出现 glm-5.3-flash、gpt-5.4-nano、minimax-m2.7、nemotron-3.5-lightning；Section 5.3 另评 mimo-v2.5、gpt-oss-120b、gemma-4-31b-it、gpt-5.6-luna。
• 每个方法一个记忆库、五次推理。生成 session 数按训练题数设置，Ns=3、Nf=8、Nr=5，超参在 AppWorld 初步 session 上设定后未在后两个基准再调。
• LLM Judge 与 official verifier 的对照见 Table 4。AppWorld 上还有流程消融、检索与注入、辅助模型替换，以及 81 个自生成任务上的模型排序。Figure 6 的预算曲线来自单次生成运行。
• τ2-bench 的 airline 未进入实验。附录 E 写明 retail 的一个工具会因参数顺序改变评分；Explorer 拒绝参考解在单次调用中交换多于一件物品的自生成任务，环境和基准任务未改。AppWorld 生成不使用 challenge split 才出现的 Amazon 和 Gmail。

DAEDALUS 用自生成练习为新环境建立不更新权重的文本记忆，从而不必先有训练任务或 oracle verifier。

智能体若记不住工具行为和环境约定，就会在任务之间重复犯错。Explorer 出题并按 Solver 的成败改难度，Extractor 从失败轨迹写 heuristic；只有先失败、再连续成功后才入库，测试开始时整库注入。

Table 1 里，GPT-5.4-mini 使用 DAEDALUS 时，AppWorld MSR 为 60.2±0.9（无记忆 44.3±1.1），τ2-bench retail 为 67.5±2.5（57.5±1.6）；GPT-5.6 Luna 在 AutomationBench Operations 上为 36.0±1.5（31.7±3.2）。三者 pass^5 为 32.1±3.6、37.5±7.8、21.4±4.9。不使用训练任务时，这些数字高于 PREPING。作者称六个指标列里有四列与使用训练任务方法的该列最高结果处于误差范围内；AppWorld 的 pass^5 低于 ACE 的 41.1±3.8，Operations 的 MSR 低于 ExpeL 的 42.6±0.5。

Table 2 的九个跨族增量都为正；Qwen 同族库使 Qwen3.6-35B-A3B 的 MSR 增加 29.3±1.7。作者称增益来自 Solver 轨迹和失败验收，只从探索抽 heuristic 会低于无记忆基线。作者认为自生成任务可以在没有官方测试集时为模型排序，Kendall τ 为 0.89。库增大后的合并、检索和测试时更新，被作者列为后续问题。