ReSAIL：缓解迭代式智能体自蒸馏中的能力崩塌

迭代智能体自蒸馏在连续部署中会出现任务成功率下降，带特权信息（privileged information, PI）的任务能力也会下降。

• 场景：作者认为 LLM 智能体可通过多步交互轨迹迭代改进，并走向递归自我改进（recursive self-improvement, RSI）。OEL 把部署中的经验收集与离线自蒸馏交替进行；作者用 SDPO 与 OEL 的实验称，重复该循环不能保证持续改进。
• 现有不足：作者报告这两种方法的部署成功率跨周期崩塌（Figure 1(a)）。基础目标只在无 PI 的普通视图上训练学生，不显式保留 PI 条件行为。任务与 PI 固定时，二者的 PI 条件成功率均值也下降（Figure 1(b)）。
• 假设：作者假设 PI 最强改变教师预测的交互步，对迁移 PI 条件行为更有信息量。他们用同一交互步上、有无 PI 的教师输出分布之间的 Jensen–Shannon 散度定义 PI sensitivity。学生成为下一轮教师时，还需要保住这一 PI 条件能力。
• 提出方法：作者提出 ReSAIL，作为迭代 PI 自蒸馏的插件。它包含轨迹均衡选择蒸馏（TBSD：敏感度引导选择 SGS 与轨迹损失均衡 TLB）和特权保留（PR）。作者称这是在部署轨迹上、用更稳健的学习机制缓解该崩塌的首次证据。

上下文中的经验复用

• Reflexion（Shinn et al., 2023）、ExpeL（Zhao et al., 2024）、Zhang et al. (2026) 与 ReasoningBank（Ouyang et al., 2026）：把反思或抽出的经验放回上下文，不更新参数。
• Re-ReST（Dou et al., 2024）与 Agent-R（Yuan et al., 2025）在交互轨迹上做监督微调；Feng et al. (2025)、RAGEN（Wang et al., 2025）与 AgentGym-RL（Xi et al., 2026）用环境奖励做强化学习。
• OEL（Ye et al., 2026）与 Wu et al. (2026) 讨论如何复用累积轨迹支持后续学习。作者把本文放在这一支，考察自蒸馏如何跨部署周期保持有效。

带特权信息的自蒸馏

• Shenfeld et al. (2026) 与 SDPO（Hübotter et al., 2026）：用额外上下文条件下的模型行为监督自身，部署时不需要该上下文。
• Penaloza et al. (2026) 把 PI 定义为训练时使用、但从部署策略输入中省略的辅助信息。论文列举的 PI 包括参考解或示范、后见反馈，以及从轨迹抽出的知识（Ye et al., 2026；Skill-SD，Wang et al., 2026）。
• 论文称监督质量取决于模型能否使用所给 PI，因此优先在 PI 最强改变教师预测的交互步上蒸馏。

迭代自蒸馏

• OEL 在部署中收集经验，再对抽出的知识做离线自蒸馏。
• 论文援引 Chen et al. (2026a)，称重复自蒸馏可能跨周期降低智能体表现。为缓解这一退化，Chen 等人改为对 PI 条件教师生成的成功轨迹做前向 KL 的离策略上下文蒸馏。
• 论文称收集这些教师轨迹需要额外环境交互，部署环境在训练中不能回访时不适用。作者据此把 ReSAIL 放在已收集轨迹上，结合周期内选择蒸馏与面向下一轮教师的保留目标。

基线与基准

• 文本任务基线为 ReAct、RFT、离线 GRPO、EPD、离线 SDPO 与 OEL；ReSAIL 作为 SDPO 与 OEL 的插件。基准为 ALFWorld 与 TextCraft。AITZ 上比较 OEL 与 OEL+SGS。

ReSAIL 是迭代 PI 自蒸馏的插件：周期内用 TBSD 挑选并均衡蒸馏损失，再用 PR 把学生特权视图拉向当前冻结教师，供下一轮当教师。

问题设定与基础目标

• 固定数据：周期 r 的起始策略 πr 配有轨迹集 Dr，由 πr 收集或来自外部离线源。训练只用该固定集，不再与环境交互。每条轨迹含交互历史 h 与记录响应。
• 两视图：同一套参数有普通视图 π(·|h) 和特权视图 π(·|h, c)。c 是轨迹级 PI，如完整轨迹或抽出的经验。文本任务的 PI 方法使用各自完整轨迹的经验摘要。
• 角色更替：学生与冻结教师都从 πr 初始化。更新后的学生成为 πr+1，部署时不带 PI，并初始化下一周期的两个模型。
• 基础损失：在基础目标使用的交互步集合 U 上，普通视图学生用 token 平均的 student-to-teacher KL 匹配特权视图教师，再对步均匀平均，得到 L_base。OEL 集成中，训练响应每次更新从当前普通视图学生新采样；离线 SDPO 中，由周期起始策略生成一次并在周期内复用。比较使用同一训练响应前缀。

选择蒸馏 TBSD

• SGS：PI sensitivity 是普通视图与特权视图在各响应前缀上的 Jensen–Shannon 散度平均：

s_π(h,c;z)=1/(|z|)∑_k=1^|z|JSD(π(·|h,z_<k),π(·|h,c,z_<k))

分数由冻结教师计算。两视图参数与响应前缀相同，作者称它度量 PI 引起的预测变化。选择比例 ρ 下，在整批上保留最高分的 K=⌈ρ|U|⌉ 步；平局顺序固定，不做轨迹覆盖补全。

• TLB：对选中步均匀平均会让选中步更多的轨迹总权重更大。L_sel 先在轨迹内平均，再除以整批轨迹数；无选中步的轨迹贡献为零。因此 ρ=1 不必恢复基线对步的均匀平均。

特权保留 PR

• 动机：更新后的学生也是下一周期的 PI 条件教师。两视图共享参数，只做普通视图蒸馏可能改变未来监督所用的 PI 条件行为。
• 目标：保留损失是学生特权视图对冻结教师特权视图的 token 平均 KL。它覆盖 U 中全部步，包括未入选蒸馏的步，并用与 TLB 相同的轨迹级归约。

联合目标与实现

• 目标：联合目标为

L=L_sel+λ L_ret, λ≥ 0

λ 控制保留强度。每次更新重算教师敏感度与选中集合，反传时两者固定。空集处理见附录 B 的 Algorithm 1。

• 分布近似：教师 JSD 与两类 KL 使用 Top-20-plus-residual-tail：当前普通视图学生选出 top 20 个 token ID，其余概率并入一个尾类。
• 默认设置：文本任务每周期 30 次更新，AdamW、学习率 10^{-6}、无 warmup。ALFWorld 为 ρ=0.05、λ=0.5，批大小 32、每周期 960 条轨迹；TextCraft 为 ρ=0.25、λ=1.0，批大小 8、240 条轨迹（Table 5）。AITZ 的 SGS 只在优化前固定保留全局 top 80% 步，不用 TLB 与 PR。
• 经验与评测输入：普通输入含任务和交互历史；PI 是从关联完整轨迹抽出的摘要，轨迹本身不拼进教师输入。摘要由该方法的冻结起始策略抽取并在训练中缓存。部署评测只用普通输入。附录 E 给出完整提示词。

实验设置

• 模型：文本任务为 Qwen3-4B 与 Qwen3-8B，thinking mode disabled；AITZ 为 Qwen3-VL-4B-Instruct。
• 规模：ALFWorld 每个 decoding seed 为 128 个 ID 与 128 个 OOD episodes；TextCraft 为官方测试集 100 episodes；AITZ 监控子集为 101 episodes、843 个非 stop 步（Table 4）。
• 周期：文本任务三个周期，每周期 30 次更新，从自身上一最终检查点初始化，并重置优化器与随机状态。同规模方法共享 Cycle 1 语料与摘要，之后各自收集新语料。AITZ 使用 Aguvis Stage-2 的 1,728 条外部完整 CoAT 轨迹，固定种子抽取 1,600 条，单周期 100 次更新，每更新 16 条源轨迹。
• 基线：文本对照为不更新的 ReAct、RFT、离线 GRPO、EPD、离线 SDPO 与 OEL。文本 PI 方法都用各自完整轨迹的经验摘要。AITZ 只比较 OEL 与 OEL+SGS。
• 指标：文本任务是不带 PI 的任务成功率，交互上限 30 步；非法动作消耗一步且不重新生成。报告三个 decoding seeds 的均值与样本标准差。附录 C.1 写明该标准差描述解码变异，不是独立训练运行之间的变异。无中间验证或检查点选择。
• AITZ 与解码：逐步动作准确率排除参考动作为 stop 的步，按官方 screen-wise 匹配规则计分，无效预测记 0；每十次更新用一个 decoding seed 监控，不用于选模型。解码为 temperature 0.4、top-p=1.0、无 top-k 截断，生成上限 1,024 tokens。论文未使用 LLM 裁判。

主结果

据 Table 1，Cycle 3、不带 PI 的成功率（%），为三个 decoding seeds 的均值；SD 见该表。

表格较宽，可左右滑动

设置	SDPO	SDPO+ReSAIL	OEL	OEL+ReSAIL
Qwen3-4B ALFWorld ID	58.9	72.4	47.4	74.2
Qwen3-4B ALFWorld OOD	44.3	64.3	38.5	67.2
Qwen3-4B TextCraft	60.3	67.3	43.7	64.0
Qwen3-8B ALFWorld ID	61.2	82.0	58.3	82.8
Qwen3-8B ALFWorld OOD	49.2	75.3	41.4	78.4
Qwen3-8B TextCraft	51.0	73.3	51.3	73.7

• 作者解读：作者称三个周期后，两种加 ReSAIL 的方法在两个模型规模的 ALFWorld ID/OOD 与 TextCraft 上都高于未增强基线。相对父方法，终周期提升为 SDPO 的 7.0–26.1 个百分点、OEL 的 20.3–37.0 个百分点。摘要将该平均绝对增益写为 22.5%，贡献陈述写为 22.5 个百分点。
• 跨周期：作者称两种增强方法在每个报告周期都高于对应父方法，且全部设置中三周期均值成功率非递减。OEL 在六组设置中终周期都低于自身第 1 周期，SDPO 在五组中如此；未低于第 1 周期的一组是 Qwen3-4B、ALFWorld ID 的 SDPO（Cycle 1 为 52.3%，Table 1）。六组等权平均下，相对父方法的优势从第 1 到第 3 周期，SDPO 由 6.8 增至 18.3 个百分点，OEL 由 5.0 增至 26.6 个百分点。
• 对照与下降：作者称增益也高于最强替代基线。Qwen3-8B、ALFWorld OOD 的 Cycle 3 上，RFT、GRPO、EPD 分别为 63.8%、62.2%、46.6%。EPD 在 Qwen3-4B 的 ALFWorld 上，ID 从 45.6% 降到 22.1%，OOD 从 43.2% 降到 18.2%（Table 1）。

组件、选择与保留

• 组件（Table 2）：OEL、Qwen3-4B、ALFWorld。作者称单独 SGS 的第 1 周期最强，相对 OEL 在 ID、OOD 上高 11.5 与 14.4 个百分点。加 TLB 后，第 3 周期相对仅选择高 6.0 与 7.8 个百分点，但 TBSD 仍低于自身第 1 周期。完整方法在第 2、3 周期最高，Cycle 3 超过 TBSD 17.7 与 21.6 个百分点，也超过单独 PR 9.9 与 13.3 个百分点。仅 SGS 的 OOD Cycle 3 为 37.8%，低于 OEL 的 38.5%。
• 选择准则（Table 3(a)）：ρ=0.05，固定 TLB 与 PR，只看 Cycle 1。Top 相对 Random 在 ID、OOD 上高 12.5 与 11.5 个百分点；Bottom 在两个划分上都低于 Random（ID 40.1% 对 49.7%，OOD 40.4% 对 45.8%）。作者称收益来自优先 PI 敏感步，而不是同等规模的任意子集。
• 保留（Table 3(b)、Figure 3、Table 9）：固定 SGS 与 TLB 时，两种保留都高于无保留；特权视图两列最高，其无 PI 均值与 Table 1 中 Qwen3-4B、OEL+ReSAIL、Cycle 3 相同。无保留时，OOD 的 PI 条件成功率从 Cycle 1 的 61.5% 降到 Cycle 3 的 44.8%；有 PR 时从 58.9% 升到 70.3%。普通视图保留的 Cycle 3 PI 条件成功率为 62.2%。作者称 PI 下 PR 的优势为 8.1 个百分点，无 PI 时为 1.3 个百分点。

效率与 AITZ

• 开销（Table 8、Figure 5(a)）：Qwen3-4B、ALFWorld、Cycle 1、八张 H800。OEL 训练循环为 4.33 GPU-hours；加 SGS 后为 4.08，学生优化从 0.91 到 0.24。作者称学生优化成本约降 74%，总训练循环约降 6%。再加 TLB 为 4.17；完整 ReSAIL 为 5.32，作者称约为 OEL 的 1.23 倍。
• AITZ（Figure 5(b)、附录 C.2）：同一初始化、100 次更新和 OEL 目标。OEL+SGS 在最后三次评估上动作准确率更高，第 100 次更新为 65.95%，OEL 为 64.89%。作者称提高 1.06 个百分点。过滤子集在训练前固定，更新预算相同。
• 敏感度曲线（Figure 6）：固定探针为 16 条轨迹、315 个交互步，一个训练种子。作者称敏感度总体下降，局部回升在 ReSAIL 下不如 OEL 与 SDPO 明显；给 OEL+TBSD 加 PR 并不在各周期终点一致抬高 JSD。论文写明该探针不是独立任务留出集。

其他消融与分析

• 选择比例（Table 7(a)，Cycle 1，λ=0.5）：Top 1%/5%/25%/50%/100% 的 ID 成功率为 60.9%、62.2%、60.4%、56.5%、56.8%；OOD 为 54.2%、57.3%、53.6%、54.7%、50.3%。作者称默认 ρ=0.05 相对 ρ=1 在 ID、OOD 上高 5.4 与 7.0 个百分点。Top-100% 仍含 TLB 与 PR，不是未增强 OEL。
• 保留权重（Table 7(b)，Cycle 3，ρ=0.05）：λ=0/0.01/0.1/0.5/1 的 ID 为 56.5%、63.0%、66.7%、74.2%、72.1%；OOD 为 45.6%、49.7%、56.8%、67.2%、63.3%。λ 从 0.5 增到 1 时，两个划分的均值都更低。
• 附录 D.1：普通视图保留在 Cycle 3 OOD 上，供给 Experience 后成功率由 65.9% 到 62.2%；PR 下 Experience 将均值提高 3.1 个百分点，由 67.2% 到 70.3%。
• Figure 1：ALFWorld OOD、Qwen3-4B。图注给出 ReAct 参考 39.6%；误差条为三个 decoding seeds 的标准差。正文称 SDPO 与 OEL 的部署表现和固定 PI 下的 PI 条件成功率跨周期下降；正文未逐点列出柱高。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 只重申选择与保留的互补作用，以及改进部署策略时应保住其下一轮作为教师所用的 PI 条件能力；未见明确写成局限、不足或后续计划的原话。

实验覆盖范围

• 模型与任务：文本实验为 Qwen3-4B、Qwen3-8B（thinking disabled），基准为 ALFWorld（每 seed 128 ID 与 128 OOD）和 TextCraft（100 episodes），三个部署周期。AITZ 为 Qwen3-VL-4B-Instruct，监控子集 101 episodes、843 个非 stop 步，单周期 100 次更新。
• 方法范围：ReSAIL 作为 SDPO 与 OEL 的插件评测。组件消融、选择策略、保留视图以及 ρ、λ 扫描在 OEL、Qwen3-4B、ALFWorld 上进行。AITZ 只比较 OEL 与训练前固定的全局 top 80% OEL+SGS，不用 TLB 与 PR。
• 判定与重复：文本成功率是环境任务成功，报告三个 decoding seeds 的均值与样本标准差。附录 C.1 写明该标准差描述解码变异，而不是独立训练运行之间的变异。AITZ 使用一个固定 decoding seed 和官方动作匹配规则，无 LLM 裁判。
• 训练与分析范围：离线训练不再执行新的环境动作。论文写明 Chen et al. (2026a) 的教师轨迹收集在部署环境不能回访时不适用，ReSAIL 使用已收集轨迹。附录 D.2 的双视图评测固定 128 条 OOD 任务、初始状态和初始模型生成的 Experience，并写明该协议不评估摘要生成或后续教学效果。Figure 6 的曲线来自一个训练种子。
• 未报告项：论文未报告独立训练种子的重复次数，也未报告统计显著性检验。

ReSAIL 是迭代经验自蒸馏的插件，针对连续部署中 SDPO 与 OEL 的性能崩塌。

• 问题：作者在 ALFWorld OOD、Qwen3-4B 上观察到，现有迭代自蒸馏的部署成功率跨周期下降；任务与 PI 固定时，PI 条件成功率也下降。基础目标只让无 PI 的学生匹配有 PI 的教师，不显式保留下一轮教师要用的 PI 条件行为。
• 方法：TBSD 用冻结教师的 PI sensitivity（有无 PI 的输出分布 JSD）挑选交互步，并按轨迹均衡选中损失。PR 在全部训练步上把学生特权视图拉向冻结教师。部署仍不输入 PI。ALFWorld 默认 ρ=0.05、λ=0.5；TextCraft 为 ρ=0.25、λ=1.0（Table 5）。
• 终周期结果：Table 1 中，Qwen3-4B 与 Qwen3-8B 在 ALFWorld ID/OOD 和 TextCraft 的 Cycle 3，两种加 ReSAIL 的无 PI 成功率都高于对应父方法。作者称相对父方法的提升为 7.0–26.1 与 20.3–37.0 个百分点；摘要写平均绝对增益 22.5%，贡献陈述写 22.5 个百分点。Qwen3-8B、ALFWorld OOD 上，SDPO+ReSAIL 与 OEL+ReSAIL 为 75.3% 与 78.4%。
• 机制与另一任务：作者称选择主要抬高早期成功率，特权保留改变跨周期轨迹。无保留时，Qwen3-4B、ALFWorld OOD 的 PI 条件成功率从 61.5% 降到 44.8%；有 PR 时从 58.9% 升到 70.3%（Figure 3、Table 9）。AITZ 上仅用 SGS 过滤后，第 100 次更新的动作准确率为 65.95%，OEL 为 64.89%。
• 作者结论：作者称这些发现突出了在改进部署策略的同时，保住该策略下一轮作为教师时所用 PI 条件能力的重要性，并称这是部署轨迹上缓解该崩塌的首次证据。