跳到正文
原文
arXiv：对齐、欺骗与监督· arXiv:2610.12602· Dongkyu Cho, Rumi Chunara, Ali Behrouz·本站收录· 原文发表

语言模型中的自我保存

Self-Preservation in Language Models

论文速读

防御

据论文 PDF 整理（AI 生成），以原文为准

作者在 Qwen 持续微调中用 Task Bank 自回放，称其降低留出遗忘，且 4B 选目标优于随机。

问题
持续微调要学新任务又不丢掉已有能力，但给定的保持任务只覆盖模型所知的一部分，遗忘可以超出这些任务。作者因此问：模型能否自己生成回放，并帮忙选择更能保住更广能力的目标。
方法
作者把任务名、描述和可选示范收成 Task Bank。冻结的更新前模型为选中条目生成回放，再与新任务样例混合做监督微调。留出任务的样例、标签、描述和分数不参与构造与选择。
实验与结果
合并部分银行，Qwen3-0.6B、1.7B、4B平均留出 Retention 为88.70%、93.28%、96.01%。4B按新任务选择为95.69%，随机为92.94%；更小尺寸无对应优势。固定预算下回放替换新样例会缩小新任务增益。
局限与可以继续做的
作者称实验只建立所报告模型、任务和短更新上的保持，留出迁移并不等于保住全部预训练能力。跨更新维护清单仍开放；扩展试点准确率下降，两阶段单种子试点结果混杂。作者称证据未建立对提示词变体或自主发现的鲁棒性。
实验设置Qwen3-0.6B、Qwen3-1.7B 等 · MedQA、C-STANCE 等 · Retention、incoming-task gain 等
被测模型
Qwen3-0.6BQwen3-1.7BQwen3-4BQwen3.5-4B
基准
MedQAC-STANCEMMLUHellaSwagGSM8KBoolQARC-ChallengeWinoGrandePIQASVAMP
指标
Retentionincoming-task gainprior-task accuracy changemean forgetting among initially correct answers
AI 导读论文研究语言模型能否在持续学习中通过生成回放数据来帮助保护自身能力。作者把任务描述与示例组织成 Task Banks，用不同规模的 Qwen 模型做持续指令微调，发现新任务和学习率决定哪些既有能力退化，而追踪此前答对的题目能揭示被平均准确率掩盖的损失。生成式回放可减少任务库之外任务的遗忘，组合部分任务库比单一任务库更能提升对先前正确答案的平均保留率。模型还能参与选择回放目标，在新任务信息指导下，4B 模型上的平均留出保留率优于随机选择，但更小的模型没有这一优势；在固定样本预算下，用回放替换新任务样本会提升保留、降低新任务收益。

论文研究语言模型能否在持续学习中通过生成回放数据来帮助保护自身能力。作者把任务描述与示例组织成 Task Banks，用不同规模的 Qwen 模型做持续指令微调，发现新任务和学习率决定哪些既有能力退化，而追踪此前答对的题目能揭示被平均准确率掩盖的损失。生成式回放可减少任务库之外任务的遗忘，组合部分任务库比单一任务库更能提升对先前正确答案的平均保留率。模型还能参与选择回放目标，在新任务信息指导下，4B 模型上的平均留出保留率优于随机选择，但更小的模型没有这一优势；在固定样本预算下，用回放替换新任务样本会提升保留、降低新任务收益。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者问：模型能否自选回放目标，在所给清单之外保住更广的既有能力。

    持续指令微调时，模型能否帮忙选择保持目标，使保护超出事先给定的任务清单？

    • 场景：作者称语言模型经高代价预训练后仍需继续训练，但微调可能造成灾难性遗忘。用于保持的任务和样例只覆盖模型所知的一部分，遗忘可以延伸到这些任务之外；Figure 1 中新任务增益与多个先前任务上的损失同时出现。
    • 现有做法的缺口：作者称原训练数据不可得时，回放和受先前行为证据约束的更新只能代表部分应保留行为。对同一目标生成更多样例会加深该任务的证据，但不能由此确立其他行为也受保护。复述量和目标选择是分开的设计决定。
    • 要检验的选择：合并所给保持目标，能否提高清单之外的保持；即将到来的任务的信息，能否帮助模型选出有用目标。保护是否超出银行，要在未参与回放构造的行为上评测。
    • 本文的设置：作者把任务描述和可选样例收成 Task Bank，用冻结的更新前模型做 Task-Bank Self-Replay，并与新任务样例混合微调。评测同时看新任务增益，以及留出任务上的准确率变化和 Retention。

  2. 有哪些相关研究？

    作者把本文放在生成式回放与任务清单组织上，主比较使用给定目标。

    作者在第 4 节和附录 B 按遗忘与持续学习、生成式保持证据、任务生成与能力发现来组织相关工作。

    遗忘与持续学习

    • 回放与干扰控制：Kirkpatrick et al. (2017)、Chaudhry et al. (2019)、Riemer et al. (2019) 通过复述先前经验，或约束会破坏先前行为的更新，来减轻遗忘。MIR（Aljundi et al., 2019）按预期干扰选择回放样例；作者称本文是在生成回放之前选择任务条目。
    • 超出当前任务的评测：TRACE（Wang et al., 2023a）研究语言模型跨多样任务的持续适应，并评测一般能力与指令遵循。Harmon et al. (2025) 把先前正确行为的损失，与在总体分数里被抵消的增益分开。
    • 记忆充裕之后：Cho et al. (2026c) 讨论回放记忆充裕时，剩余挑战可转向可塑性与计算成本。作者称本文用任务级和配对视角，评测超出部分目标清单的保持。

    生成式保持证据

    • LAMOL：Sun et al. (2019) 用生成的伪样例复述先前任务。
    • Self-Synthesized Rehearsal：Huang et al. (2024) 用上下文示范合成实例，精炼输出，并选择多样的复述数据。
    • Self-Replay 与 CPLUS：Marek et al. (2026) 研究自生成回放及其与容量、优化的交互。CPLUS（Cho et al., 2026a）用锚点与自探测梯度调节更新，并在所给锚点任务之外评测保持。作者称本文关注所给目标的组织如何影响生成回放带来的保护。

    任务生成与能力发现

    • Self-Instruct：Wang et al. (2023b) 生成指令及输入输出样例，用于指令微调。附录 B 称，即便经过过滤，模型生成样例仍可能含有错误。
    • Automated Capability Discovery：Lu et al. (2025) 用 scientist 模型提出任务并探测主体模型，包括模型自身。作者称其目标是发现和测量能力，而不是在更新期间保护能力。
    • 生成式课程：Absolute Zero（Zhao et al., 2025）用代码执行奖励学习任务提议与求解课程；SEAL（Zweiger et al., 2025）生成数据与更新指令以做适应。作者称任务多样性或发现本身，并不确立微调之后先前正确行为仍被保持。

    基线与基准：主比较包括 SFT、Single-Task Replay、使用存储样例和标签的 Replay，以及随机、仅银行、带新任务信息的选择；post-hoc selector 只作分析参照。新任务为 MedQA 与 TRACE 中的 C-STANCE。银行含 MMLU、HellaSwag、GSM8K、BoolQ。留出评测为 ARC-C、WinoGrande、PIQA、SVAMP。

    作者称主比较使用给定目标，模型提议的新增条目仍属探索。附录 B 还写到 task-free 学习、on-policy 监督和能力自我知识（Kadavath et al., 2022），这些不是主结果里的对照方法。

  3. 论文如何解决这个问题？

    Task Bank 把要回放的行为与生成样例分开，冻结模型生成回放再与新任务混合微调。

    Task Bank 把要复述的行为写成紧凑条目，再用冻结的更新前模型生成回放，与新任务样例混合做监督微调。作者以此把“回放什么”和“生成哪些样例”分开，并在未参与构造的留出任务上看保护是否超出银行。

    设定与访问边界

    • 要保住的集合：作者把更新后仍应保留表现的更新前能力记为 R，并假定没有穷尽枚举。银行只表示其中一部分。条目含名称、行为与输入输出格式的描述，以及可选示范；条目可以描述重叠技能。
    • 清单怎么用：可以用一条、一个子集，或全部所给条目。SFT 只用新任务数据。Single-Task Replay 复述一个所给任务。Replay 使用存下的样例和标签。Task-Bank Self-Replay 的回放答案来自冻结的更新前模型。
    • 留出边界：留出任务的样例、标签、描述和分数不进入银行构造与目标选择。独立提议的任务可以与留出能力重叠，但不得使用其数据。作者称留出表现用来看回放是否减少遗忘，这本身不确立能力清单已经完整。
    • 角色：选择器先选条目，冻结参考模型再生成回放，学习者接受更新。三者可以是同一 checkpoint，角色仍然分开。

    生成接口

    • 四种接口（Table 6）：Replay 使用给定问题和标签，模型不生成回放答案；给题作答使用示范和无标签问题；问答生成从给定任务条目生成问题和答案；探索性扩展银行由模型先提出额外条目，再生成问答。
    • 主实验用哪一种：端点、银行组成和目标选择研究生成问题和答案。固定样例分配研究改为给已有问题生成答案，条件是两条经核验的同任务示范，并扣住该题的源答案（附录 A.7）。选择题取损失最小的候选，数值题最多生成 64 个 token。源标签不用于挑选或过滤该答案。空输出、选项集外答案、序列过长或示范不足则失败关闭。
    • 探索与主比较：探索协议让模型提出新任务描述，可以看见或不看见已保留清单，而不是从给定条目中选择。附录 C.4 的解释标准是行为是否不同、更新前是否已能完成，以及相对等预算的银行内回放是否有增量保持价值。主比较使用给定目标。附录 C.6 给出生成、选择和探索的完整提示词。

    混合、选择与训练

    • 混合目标：选定条目集合 S 后，训练分布把新任务样例与各条目回放按名义比例混合。学习者最小化该混合上的 SFT 损失，参考模型保持冻结。权重描述样例分配；进入损失的贡献还取决于分词、被监督的 token 位置和损失归一化。
    • 分配公式：混合分布为 Dmix=(1−ρ)Dnew+ρ∑j∈ Swj Rj，其中 ρ 是名义回放比例，w_j 是条目 j 在回放中的份额，各份额之和为 1。附录 C.3 只写出固定分配研究在分词前的 ρ=59/256，即 59 行回放、197 行新任务，并保持优化步数不变。端点、银行组成和目标选择研究未报告 ρ。
    • 三种选择：在 MMLU、GSM8K、HellaSwag、BoolQ 四条目中，比较随机选择、只看银行的选择，以及同时看银行和新任务信息的选择。Figure 5 的稀疏条件各选两条；全银行使用全部四条；随机条件均匀抽取一对。所报告比较的新任务是 MedQA。选两条本身不表示回放 token 或训练成本已经匹配。
    • 分析用参照：post-hoc selector 按已发生的 SFT 损伤给回放任务排序，并选择损伤最大的任务。它能看到更新后损伤，因此不是训练前可用的规则，也不保证回放收益最大。

    保持如何判定

    • 准确率变化：在同一组更新前、更新后评测样例上，用百分点报告新任务增益和先前任务变化，并报告单个任务与等权任务组。
    • Retention：有配对预测时，Retention（correct → correct）是更新前答对、更新后仍答对的百分比。它把保住的答案和新纠正的错误分开。
    • 配对定义：任务 j 上、最初正确答案中被更新弄错的比例为 Fj=|{i:fθ0(xi)=yi, fθ1(xi)≠ yi}|/|{i:fθ0(xi)=yi}|。Retention 是该比例的补，写成百分比。净准确率变化不能还原它，因为新答对的题可以抵消丢失的旧正确答案。
    • 两种最差值：能力均值的最小值概括平均轮廓；各种子内最小值再平均，问的是每次运行里最差能力有多差。Table 1、Figure 6、Table 8 用后者；Figure 3 与 Figure 12 取任务均值的最小值。作者称端点汇总不能重建配对的种子级不确定性。

  4. 论文做了哪些实验？

    作者称合并银行提高留出 Retention；4B 选目标优于随机，更小模型无对应优势。

    实验设置

    • 模型：Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B。遗忘诊断和学习率扫描另含 Qwen3.5-4B。选择器、回放生成器与学习者可以是同一 checkpoint；三者强度未独立变化。
    • 数据角色：新任务为 MedQA 与 TRACE 中的 C-STANCE。银行含 MMLU、HellaSwag、GSM8K、BoolQ。留出为 ARC-C、WinoGrande、PIQA、SVAMP，其样例、标签、描述和分数不参与构造与选择。选择题按候选序列损失评分；GSM8K 与 SVAMP 用短生成和归一化数值精确匹配。受控研究中每项固定评测集上限 512 条，过滤后至少 400 条；生成最多 64 个新 token。
    • 主协议：端点、银行组成和目标选择为一 epoch、学习率 1e-5、五个训练种子。这些研究的 MedQA 比较用 1,024 条 incoming。端点学习率在开发中选定后固定。Figure 3 与 Table 4 的 C-STANCE 端点未写明 incoming 条数。
    • 其他协议：遗忘扫描变动模型、新任务和学习率 {1e-7, 1e-6, 1e-5}，一 epoch 全参数 AdamW，每轮 256 行，种子 0 和 1，共 36 次，全部报告。Table 1 是分开的五学习率、1,024 例、64 updates 研究。固定分配用 256 行，回放替换而非追加 incoming；token 暴露与生成成本可以不同。
    • 优化：全参数 AdamW，(β1, β2)=(0.9, 0.95)，ε=1e-8，权重衰减 0，更新数允许时 5% warmup，梯度裁剪 1.0。micro-batch 为 1，累积 16 步，最大序列长度 512，bfloat16 存储，关闭 thinking。
    • 指标与对照：百分点准确率变化、Retention；固定分配研究另报最初正确答案上的平均遗忘 MF。误差条为训练种子间标准误。论文未使用 LLM 裁判。对照为 SFT、Single-Task Replay、Replay、随机选择和仅银行选择；post-hoc selector 只作分析参照。

    主结果

    Table 4 是 Qwen3-4B 在 C-STANCE 上、学习率 1e-5、一 epoch、五种子的绝对准确率（%）。Pre-update 来自初始 checkpoint，其余为端点均值 ± 标准误。GSM8K 未出现在该表；MMLU、HellaSwag、BoolQ 因列数未列入下表。

    表格较宽，可左右滑动

    方法C-STANCEARC-CWinoGrandePIQASVAMP
    Pre-update52.4487.7060.9483.5932.03
    SFT80.21±0.4481.60±0.5955.40±0.4079.60±0.9030.30±0.39
    Single-Task Replay80.18±0.7281.00±0.5956.90±0.1080.10±0.7030.30±0.40
    Replay80.30±0.8388.10±0.4961.00±0.2084.10±0.2034.50±0.20
    Task-Bank Self-Replay80.29±0.7588.00±0.0061.20±0.4084.25±0.9535.10±0.20
    • 作者称广回放比单目标回放更好地保护留出任务，新任务增益仍接近。§3.2.2 给出的留出平均变化为：SFT −4.34 pp，Single-Task Replay −3.99 pp，Replay +0.86 pp，Task-Bank Self-Replay +1.07 pp；incoming 增益在 +27.74 到 +27.86 pp。
    • Table 4 另报告 MMLU、HellaSwag、BoolQ。HellaSwag 上 SFT 为 67.30±0.69，更新前为 73.92，Replay 为 74.30±0.20，Task-Bank Self-Replay 为 73.50±0.40。
    • 附录 E 概括 Figure 1 的 MedQA、1,024 例、1e-5、五种子：SFT 的四项留出平均损失在 0.6B、1.7B、4B 为 6.01、4.38、3.50 pp；Replay 仍有 2.00、1.27、1.25 pp。作者称 Task-Bank Self-Replay 使四任务平均改善 0.61、0.31、0.76 pp，论文未写明该差值相对哪一对照；其最差任务损失为 0.52、1.03、0.39 pp。作者称平均准确率增益并不意味着每项任务都被保持。

    合并部分银行

    • 测了什么：Bank A 为 MMLU 与 GSM8K，Bank B 为 HellaSwag 与 BoolQ，A+B 为四项合并。问答由模型生成。留出为 ARC-C、WinoGrande、PIQA、SVAMP。设置与 Figure 1 相同：1,024 条 MedQA、一 epoch、1e-5、五种子，三个 Qwen3 尺寸。
    • 结果：合并银行的平均留出 Retention 为 88.70%、93.28%、96.01%，分别比该尺寸上较好的部分银行高 4.42、3.32、2.99 pp。incoming 增益比 SFT 低 0.45、0.60、0.28 pp（0.6B、1.7B、4B）。
    • 作者的解读：作者称单项留出任务上 Retention 最高的银行并不相同，合并银行的平均最高。合并所给目标即可提高银行外保护，不要求模型发现新任务。

    目标选择

    • 测了什么：从四个银行条目中选两条，比较随机、只看银行、以及银行加新任务信息。全银行使用四条，作为参照。训练设置同 Figure 1。留出四项不参与选择和回放。
    • 结果：4B 上，incoming-aware 的平均留出 Retention 为 95.69%，随机为 92.94%，仅银行为 93.42%。其 incoming 增益比随机高 0.04 pp，Retention 与全银行相差在 0.32 pp 以内，但只用四项目标中的两个。相对随机的 Retention 差，0.6B 为 −0.76 pp，1.7B 作者称大约为零。
    • 作者的解读：作者称这一选择优势限于所测 4B 配置。学习者、选择器与回放生成器的强度未独立变化。附录 C.5 的发现试点是单臂、一个操作点，不估计发现相对固定银行的增量保持价值。

    学习率、新任务与被掩盖的损失

    • 配对抵消：Figure 2 为 Qwen3-4B、MedQA、256 行、一 epoch、1e-6、两种子。四项留出各 512 条配对评测。平均有 3.56% 由对变错、3.61% 由错变对，净变化 +0.05 pp。作者称几乎不变的准确率可以掩盖先前正确答案的损失。Retention 以最初正确项为条件。
    • 新任务改变遗忘轮廓：Figure 7 在 Qwen3.5-4B、SFT、1e-6 下固定模型和优化。新任务增益为 MedQA +4.7 pp、C-STANCE +7.8 pp。作者称先前任务的变化并不均匀；SVAMP 在 MedQA 更新后约升六点，C-STANCE 后约升一点。Figure 8 印出 +6.1 与 +1.1。这些 SFT 运行不用回放。
    • 学习率：Table 1 为 Qwen3-1.7B、C-STANCE、1,024 例、一 epoch、64 updates、种子 0 与 1、FP32 终点。作者用其中 1e-7 与 3e-6 的对比称，更低学习率可以同时改善新任务学习和对先前正确答案的保持。该研究与 Figure 8 的 256 行、三学习率扫描分开。

    表格较宽，可左右滑动

    学习率incoming ∆held-out 平均 ∆最差 held-out ∆Retention
    1e-7+12.01±0.10−0.10±0.10−0.49±0.1097.02±0.05%
    3e-7+3.32±5.08−0.73±0.34−2.15±0.3994.65±0.87%
    1e-6+10.45±1.86−1.98±0.46−9.57±0.5989.60±0.38%
    3e-6+9.67±0.49−3.03±0.24−19.63±0.8882.22±0.25%
    1e-5−2.05±0.88−28.00±3.00−63.18±6.3532.88±4.56%

    其他消融与分析

    • 固定预算（Table 8；Qwen3-4B，MedQA，1e-6，两种子，256 行，回放臂分词前 59 行）：SFT 新任务 +1.17 pp、留出 Worst −1.56 pp、MF 5.74%；Task-Bank Self-Replay +0.49、−0.68、3.52%；Replay +0.98、−0.88、3.82%；随机单任务 +0.98、−1.76、5.00%；post-hoc +1.08、−1.27、5.01%。MF 在达到至少 200 个最初正确样例的 ARC-C、WinoGrande、PIQA 上平均，该研究中 SVAMP 未达到。作者称最初正确答案上的遗忘可以下降，同时最差任务的准确率变化变差；该比较不建立更好的习得–保持前沿。名义行数与优化步匹配，token 与生成成本不匹配。
    • 高学习率：Figure 8 的 36 次 SFT 在 1e-5、256 行、一 epoch 下，六个模型–任务组合的新任务准确率都下降。图中新任务格包括 Qwen3-1.7B −2.3/−15、Qwen3-4B −3.3/−13、Qwen3.5-4B −7.5/−18（MedQA/C-STANCE）。Figure 11 将三个 C-STANCE 的 1e-5 印为 −14.7、−12.6、−17.5。作者称这是适应失败，而不是必然的保持–习得权衡。
    • 扩展试点（Table 7）：Qwen3-1.7B、MedQA、seed 1、1e-5、1,024 条 incoming 加 256 条生成回放、80 次更新。MedQA −4.49 pp；ARC-C −7.03、WinoGrande −2.93、PIQA −2.93、SVAMP −58.79 pp；平均留出 −17.92 pp。SVAMP 512 条中，更新前 92 条、更新后 303 条抽不出有效最终数字，仍计为错误。单臂，不相对固定银行估计扩展效果。
    • 两阶段试点（Table 9）：Qwen3-0.6B、seed 0、3e-6，先 MedQA 后 C-STANCE，每阶段 256 行。相对固定生成银行，加入 MedQA 后最差留出由 −12.70 变为 −3.71 pp，最差回放任务由 −5.49 变为 −9.80 pp；第二阶段 MedQA 由 +0.20 变为 −0.20 pp。论文称不从这一单种子试点推断不确定性或显著性。
    • 校准诊断（Table 5，七项选择题，不用于选择回放）：作者称 Qwen3-4B 的项级判别与校准优于 Qwen3-1.7B（AUROC 0.756 对 0.681，ECE 0.238 对 0.331），任务级 Spearman 却更低（0.607 对 0.679）。Qwen3.5-4B 的 Spearman 为 0.857、gap 为 0.059。表中加粗不是统计显著性。n=1 到 64 时，三个模型的准确率估计 MAE 都下降。
    • 0.6B 追加（附录 A.4）：17 次运行，1,024 例、64 updates。3e-6 下两个 MedQA 种子的 incoming 开发集为 +7.42、+8.59 pp，留出平均为 −3.81、−5.57 pp；两个 C-STANCE 种子的开发集为 +5.47、+9.38 pp，留出平均为 −2.69、−3.56 pp，incoming 测试为 +11.33、+11.91 pp。

  5. 有什么可以进一步探索的点？

    作者称跨更新清单仍待研究，证据未超出所报告模型、任务和短更新。

    作者指出的局限与后续方向

    • 跨更新清单（§5）：实验留下如何在连续更新中维护有用清单的问题。提议条目需要已展示的能力、不同的行为覆盖和增量保持价值。答对一道任务，并不表示模型能预测更新伤害或选出有效回放。
    • 试点（§5）：单臂扩展试点出现负的准确率变化；两更新、单种子试点在规定的任务添加下，准确率变化混杂。作者称这促使同时研究清单修订，以及跨连续更新所学能力的保持。
    • 范围（附录 G）：保持行为只在所报告的模型、任务和短更新序列内建立。覆盖 Qwen checkpoint、两个新任务、八项先前基准能力，其中四项为留出。对留出评测的迁移并不确立完整预训练技能库都被保持；稳定的低基线表现所能提供的、关于已保留能力的证据很少。多数研究是一次更新。两阶段单种子试点不确立持续的自主保持。
    • 对照与成本（附录 G）：所选模型比较同时改变学习率和模型代际，因此不隔离规模效应。两种子受控研究与五种子端点汇总限制不确定性分析；后者不支持配对显著性检验或更新内轨迹。固定样例分配下，保持改善伴随更小的新任务增益；匹配的是名义输入行和优化步，分词后暴露与生成开销不同。
    • 目标与监督（附录 G）：Task-Bank Self-Replay 依赖所给保持目标。它减少部分监督需求，但不消除这些需求，也不证明自主发现。回放可以复现模型错误；给题回放仍依赖经核验的示范。银行感知发现试点没有确立新提议目标是否优于固定部分银行内的额外回放。证据没有确立对独立任务遗漏、提示词变体或其他任务添加规则的鲁棒性。

    实验覆盖范围

    • 被测模型为 Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B；遗忘诊断与 Figure 8 的学习率扫描另含 Qwen3.5-4B。
    • 新任务为 MedQA 与 C-STANCE；银行任务为 MMLU、HellaSwag、GSM8K、BoolQ；留出为 ARC-C、WinoGrande、PIQA、SVAMP（Table 2）。
    • 端点、银行组成与目标选择使用一 epoch、学习率 1e-5、五个训练种子；其中 MedQA 比较用 1,024 条 incoming（§3.1）。Figure 3 与 Table 4 的 C-STANCE 端点未写明 incoming 条数。
    • 主学习率扫描为 36 次 SFT：三个模型、两个新任务、三个学习率、种子 0 与 1、每轮 256 行（Figure 8）。Table 1 另为 Qwen3-1.7B、C-STANCE、1,024 例、64 updates、五个学习率、两种子。
    • 论文写明五种子端点汇总不报告配对显著性检验，也不报告最初正确答案遗忘（附录 A.5、G）。固定分配匹配名义行数与优化步，不匹配 token 暴露与生成成本（§3.2.5）。选择器、学习者与回放生成器的强度未独立变化（§3.2.4）。附录 C.6 写明实验不测试其他提示词措辞。

  6. 总结一下论文的主要内容

    作者称自回放可在清单外减遗忘，4B 上新任务信息有助于选目标，小模型则无。

    作者研究语言模型学习新任务时，如何用自身知识做更广的自我保持：给定清单不完整，遗忘又会超出清单，模型能否生成回放并帮忙选择目标。

    • 做法：Task Bank 记下任务描述和可选示范。冻结的更新前模型为选中条目生成回放，再与新任务样例混合做 SFT。留出任务不参与构造和选择。Retention 统计更新前答对、更新后仍对的比例，用来和可被新纠正抵消的平均准确率分开。
    • 遗忘并不均匀：新任务和学习率会改变哪些先前能力下降。Qwen3-4B 在 MedQA、256 行、1e-6、两种子下，四项留出平均有 3.56% 由对变错、3.61% 由错变对，净变化 +0.05 pp（Figure 2）。256 行、1e-5 的六个模型–任务组合里，新任务准确率也下降（Figure 8）。
    • 清单外的回放：Qwen3-4B、C-STANCE、1e-5、五种子上，留出平均变化为 SFT −4.34 pp、Task-Bank Self-Replay +1.07 pp，新任务增益仍在 +27.74 到 +27.86 pp（§3.2.2）。合并两个部分银行后，0.6B、1.7B、4B 的平均留出 Retention 为 88.70%、93.28%、96.01%，比各自较好的部分银行高 4.42、3.32、2.99 pp（Figure 4）。
    • 选择与预算：4B 上，带新任务信息的两条选择达到 95.69% 平均留出 Retention，随机为 92.94%，只看银行为 93.42%；0.6B 相对随机为 −0.76 pp，1.7B 作者称大约为零（Figure 5）。固定 256 行里用 59 行回放替换新任务样例时，Task-Bank Self-Replay 的种子内最差留出变化为 −0.68 pp，MedQA 增益为 +0.49 pp；SFT 为 −1.56 pp 与 +1.17 pp（Table 8）。
    • 作者的结论：作者称模型可以通过生成数据支持更广的保持，并在部分设置下对回放什么做出有用选择。平均准确率可以掩盖已丢失的正确答案；回放若替换新任务样例，也会缩小新任务增益。这些结果限于所报告的模型和短更新，跨更新维护清单仍是作者留下的问题。
阅读原文arxiv.org