自生成反馈会破坏测试时训练：长时程适应的因果分解

闭环里若持久写入自生成文本上的更新，模型对独立人类文本的预测会变差；要确定反馈环的哪一环造成这种失败。

• 场景：作者称 TTT 的 fast weights 能在源文本离开注意力后仍保留信息，因此用于长文档、流和长时间运行的智能体。不改权重称为 reading，保留梯度更新称为 writing；当前状态生成下一块训练文本时，writing 成为 Closed Loop。
• 既有缺口：来源块上损失下降只说明更新拟合了来源，不说明其他文本被预测得更好。作者把本文与跨代合成数据循环、回合内降权重复更新 token 的 aTTT、以及用后续视觉观测验证更新的 VANE 区分开，要在一条长语言模型流中隔离反馈。
• 观察：同一更新规则在真实文本上可以改善预测。作者因此认为失败不在 writing 本身，而在闭环生成逆转了这些规则的效果。
• 范围与做法：该现象见于标注为 125M、760M、3B 的 TTT-E2E，也见于用 Adam 更新 Qwen3-4B 已有前馈权重；作者称它不特定于 TTT-E2E 的更新模块。做法是 128K token 流上的保留/丢弃对照，加上 Fixed Generation、Recorded Replay、配对单次更新，以及提交前用独立真实文本评估候选状态的 Settlement。

可写的推理时状态

• Fast weights：Schmidhuber (1992) 与 Ba et al. (2016) 用序列处理中会变化的权重作记忆。Schlag et al. (2021) 把线性注意力的循环状态解释为 fast-weight 矩阵；Krause et al. (2018) 的 dynamic evaluation 在近期上下文上更新参数。
• 语言模型中的可写记忆：Sun et al. (2025) 的 TTT layers、Tandon et al. (2025) 的 TTT-E2E、Behrouz et al. (2025) 的 Titans、Feng et al. (2026) 的 In-Place TTT，把可学习更新规则或可写记忆用于语言模型。作者称本文研究的是该状态还生成下一个训练样本的情形。

测试时适应与稳定性

• 部署输入上的适应：Sun et al. (2020)、Liu et al. (2021)、Wang et al. (2021)、Hardt & Sun (2024) 用自监督损失、熵最小化或检索近邻做测试时训练或适应。
• 伪标签累积：Arazo et al. (2020)、Wang et al. (2022)、Niu et al. (2023)、Press et al. (2023) 用教师平均、恢复或 reset 限制错误伪标签累积。
• Performative prediction：Perdomo et al. (2020) 讨论预测改变其所作用的对象。作者称本文设定与之不同，因为适应后的模型会产出后续输入，属于流内的 performative prediction。Fixed Generation 与 Recorded Replay 用来分开对未来文本、注意力和权重的改变。

生成数据反馈与解码重复

• 跨代合成数据：Briesch et al. (2023)、Shumailov et al. (2024)、Alemohammad et al. (2024)、Marchi et al. (2024)、Gerstgrasser et al. (2024) 报告，在生成样本上训练相继模型代会降低质量或多样性，混入真实数据可减缓或防止崩溃。
• 局部高概率与重复：Holtzman et al. (2020)、Welleck et al. (2020)、Xu et al. (2022) 讨论局部高概率 token 产生重复续写，以及 nucleus sampling、unlikelihood 和打断重复的目标。作者称本文对象是单流中的一个适应模型；解码与 replay 对照用来说明，多样性与合成来源本身并不决定持久代价。

更新选择与自改进

• 梯度约束与重加权：Lopez-Paz & Ranzato (2017)、Chaudhry et al. (2019) 约束梯度或在存储样本上保持表现；Ren et al. (2018) 偏向其梯度能改善留出数据的样本。
• 从自身输出学习：Zelikman et al. (2022)、Huang et al. (2023)、Shinn et al. (2023) 从生成的推理、反馈或成功轨迹学习。
• 更近的回合内验证：Wang et al. (2026) 的 aTTT 研究回合内在线更新的反馈，并降权重复的更新 token；Ji et al. (2026) 的 VANE 用后续视觉观测验证更新。作者称本文的匹配比较隔离长文本流中的反馈路径，Settlement 在保留前用独立真实文本评估累积的 fast-weight 状态。

基线与数据：主语言对照是 Writes Off。干预与分解对照还包括 Fixed Generation、只读回放、Source Masking、Reject All、Write All、No Updates、重复惩罚和周期性 reset。语言流用 PG-19；TTT-E2E 的预训练域为 DCLM，长上下文训练沿 books 设定。智能体环境为 WebShop 与 ALFWorld。

作者把本文定位为：在一条长语言模型流里，把对未来训练文本的改变，与阅读固定文本、在固定文本上更新的效应分开，并用独立文本评估将被保留的完整状态。

作者把推理时处理分成 reading 与 writing。Closed Loop 中，当前 fast weights 生成块、从该块学习、再用新权重生成下一块。主对照 Writes Off 阅读同类生成块但丢弃更新。两者都保留初始真实前缀上的更新，差别只在自生成文本上的学习是否持久。

设定、更新与结局

• 125M：12 层、宽 768；前九层为 8192-token 滑动注意力，最后三层为 SwiGLU fast-weight MLP。每 1024-token 块做一步截断内环 SGD。默认 temperature 为 1、top-p 为 0.95。760M 与 3B 沿用 TTT-E2E 配置，3B 为已发布模型。另有一组不用 TTT 模块，而用 Adam 更新 Qwen3-4B 已有前馈权重。
• 流：以 8K 真实 token 开始，再生成 105 块，并有 15 次后续真实文本评估加一次初始参照。评估快照并恢复 fast weights、注意力缓存、位置、挂起更新和半块缓冲，评估文本不进入后续生成上下文。
• 独立文本：规范比较的评估段来自同一 PG-19 书中稍后且不相交的区域。独立真实文本指生成训练流之外的文本，不必换书。其 NLL 问的是更新能否迁出来源文本，不是模型是否记住自己先前的输出。K 表示 1024 token。
• 结局：条件内首尾 NLL 差记为 Dc，正值表示真实文本预测变差。相对关掉自生成写入的额外变差为 H_c = D_c − D_off。Hc>0 表示比 Writes Off 更差。在线生成时 Hc 同时包含更新及其引起的后续文本，作者以此为主要结局。终点差 Ec 比较最终 NLL；初值损失相同时 Ec 等于 Hc。语言实验的 95% 区间默认先在书内平均种子，再对书重抽样。

三组匹配比较

• Fixed Generation：单独缓存的冻结 W0 生成每一块，另一个 Wt 仍每块更新。评估的是学习者，不是 W0。去掉的链接是学习者改变下一次训练文本的能力。Appendix A.1 检查生成器与接收者隔离。
• Recorded Replay：在其他书上适应过的接收者，处理自己没有生成的已保存退化流。先只读，再恢复同一起点并保留更新，重放相同 token。只读测量退化内容留在注意力中的代价；两次之差测量写入权重的额外代价。
• 配对单次更新：在生成块之前复制同一权重与注意力缓存。两份处理同一块，一份保留更新、一份丢弃，之后的差异只来自这一次写入。测量来源块 NLL、下一段独立真实文本 NLL，以及后续 repeated-4。三种前史为 Writes Off History、Closed Loop 与 Fixed Generation。

梯度冲突与代价是否集中

• 两个提交前信号：来源梯度与下一段真实文本梯度的余弦；真实梯度与实际候选增量的内积，作为真实文本损失变化的一阶预测。再与“保留减丢弃”的实测伤害做 Spearman 相关。每种模型–历史设置有 96 个配对更新。作者称冲突更强的候选造成更大的真实文本伤害；该计算使用了测量伤害的真实段落，因此不是这些实验中的选择规则。
• 段落级写入代价：同一接收者对相同 token 做 Read+Write 与 Read Only 后，后续真实文本 NLL 之差。作者用均值与中位数、以及超过 0.5 nats 的条数，看晚期均值上升来自多数段落还是少数源序列。

Settlement

• 规则：从当前 fast weights W 形成临时候选，在同一独立真实段落 q 上比较，不改变注意力。A(δ; W, q) = L(q; W) − L(q; W+δ)。A 为正表示候选把 q 预测得更好；仅当 A≥0 时提交。Appendix E.1 的 Algorithm 1 用候选损失不高于当前状态作为同一规则，并按提案顺序把下一增量相对已接受状态判断，而不是分别相对原 W 批准后再提交未评估的和。
• 证据从哪来：优先用下一段到达的真实文本，否则用保留的真实前缀。规则不使用候选的来源标签，但需要能识别哪段文本是真实的。结果评估段与准入文本分开。
• 智能体变体：WebShop 中候选都带同一“生成”来源标签，Settlement 改为比较验证奖励，且仅在均值严格更高时保留。ALFWorld 每 25 个任务让当前模型与临时副本做同一组 20 个验证任务，副本完成更多任务才保留，并在任务 140 再检查一次。

实验设置

• 模型：TTT-E2E 配置标注为 125M、760M、3B；前两者由作者按该配置训练，3B 用已发布模型。另用 Adam 更新 Qwen3-4B 已有前馈权重，不加入 TTT 模块。WebShop 用 Qwen3-4B 的 rank-16 LoRA；ALFWorld 用 Qwen3.8-27B 的 LoRA。多数因果实验用 125M。
• 数据：语言流来自 PG-19。主跨尺度比较为同一六本书（规范书 2–7）、五种子、128K、batch width eight。Appendix A.3 因书 0–1 在更大已发布模型上未适应损失异常低而筛除，作者称这不能证明没有全部污染，也不构成缩放定律，因为 760M 与 3B 训练谱系不同。125M 按官方 4800 步配方在 2.5B DCLM token 上预训练，再在 PG-19 上做 32K 长度扩展。
• 流与解码：8K 真实前缀后生成 105 块；默认 temperature 1、top-p 0.95。评估恢复完整携带状态。Qwen3-4B 的 Adam 实验为八书、三种子、每块一步、梯度范数截断为 1，只更新最后四个 mlp.down_proj。
• 对照：Closed Loop 保留自生成更新；Writes Off 阅读生成 token 但丢弃其更新。两者都保留初始真实前缀上的更新。分解与干预还包括 Fixed Generation、Recorded Replay、Settlement、Source Masking、reset 与解码器变体。
• 指标：NLL 越低越好。H 是相对 Writes Off 的额外首尾变差，正值更差；E 是终点相对 Writes Off 的差。WebShop 的 exact success 指 reward≥1。ALFWorld 报告已见 140 与未见 134 任务的成功率。
• 区间：除非另有说明，95% 区间是书内平均种子后对书重抽样。智能体报告的是配对种子上的均值与样本标准差。

主结果

模型	H (nats，↑更差)	95% 区间
125M TTT-E2E	+3.01	[+1.86, +4.20]
760M TTT-E2E	+6.00	[+4.27, +7.73]
3B TTT-E2E	+0.40	[+0.30, +0.51]

据 Table 1。同一六本书、五种子、128K、宽度 8。主表只含这三档；Qwen3-4B 与两个智能体模型的协议不同，见后文。

• 作者称三个区间都不含零，失败方向在三个尺度上一致；幅度不同，这是方向的跨尺度重复，不是与参数量的单调关系。Appendix A.3 另写明，760M 与 3B 的损伤幅度不构成缩放定律。
• 作者称 Figure 1a 中，较早的 8K+8K 窗内 Closed Loop 与 Writes Off 接近，多次追加自写后前者上升、后者近乎平坦，故失败是累积的，不是第一次更新的大惩罚。图注写明阴影标出该较早视野；纯文本看不到曲线，形状以作者描述为准。
• 作者称全支撑采样把 128K 终点差从 3.010 降到 1.452 [.708, 2.180]，但后期损失仍在上升，因此解码本身不能解释该结果（Section 4、Appendix B.2）。

因果分解与单次更新

• Fixed Generation：Table 3 在同一六本规范书上，125M 的超额变化为 .052，去掉匹配闭环差额的 98.3%；760M 为 .073 与 98.8%。作者称生成来源本身不足以致损。Appendix A.2 的八书位移套件中，Fixed Generation 的相对漂移 .01387 大于 Closed Loop 的 .00857，真实文本学习漂移 .01759，且相对 Writes Off 使 NLL 低 .3544 [.1236, .6048]。作者称参数移动不能给损伤排序。该套件中 Closed Loop 的 repeated-4 为 .9902，Writes Off 为 .0217，Fixed Generation 为 .0082。
• Recorded Replay：Table 4 中，125M 只读相对对照高 1.606 nats，读并写高 3.874，写入再加 2.268。3B 的写入额外代价为 .193 [.104, .327]；Appendix C.2 的源/接收者聚类区间为 0.1927 [0.1043, 0.3272]，六个源书与六个不相交接收书的聚合均为正。
• 单次更新与梯度：Table 5（125M，保留减丢弃）三种前史都降低来源块 NLL、升高下一段真实文本 NLL。Closed Loop 前史为来源 −.0354、下一段真实 +.0381 [.0098, .0718]；Writes Off 前史为 −.1374 与 +.0045；Fixed Generation 为 −.1449 与 +.0018。作者称来源拟合更好并不保证新文本受益。闭环前史下，该代价从最早测点 0.006 nats 增至最晚 0.113；Table 15 对应 .0062 与 .1126。Table 6 中，梯度余弦与实测伤害的 Spearman ρ 在 125M 闭环/Writes Off 为 −.502/−.788，760M 为 −.633/−.731，四段区间不含零。作者称这不是选择规则，因为用了测量伤害的那段真实文本。

外部文本、Settlement 与智能体

• 真实文本节奏：Table 12 用八本长书、五种子，替换 105 个槽中的 0、5、11、21、33 个并保留全部更新。均匀间隔时 H 为 1.1858、1.0275、.4389、.0806、.0694。同样 33 块（31%）若聚成突发、最长自写段为 12，H 为 .7155 [.3730, 1.1578]，而均匀时最长自写段为 3。作者称真实文本在反复打断自写时作用最大。Figure 1b 的 H0% 为 1.186 nats，与该套件的 0% 基线对应，不是 Table 1 的六书套件。
• Settlement：摘要与 Figure 5a 的终点差为 125M .07 nats（保留 22/936）与 760M −.02（18/312），区间含零。Appendix E.2 写明这是另一套匹配实验：125M 十二本书、760M 四本书，闭环相对 Writes Off 为 3.183 [2.106, 4.253] 与 1.263 [.799, 1.618]，Settlement 为 .067 [−.013, .169] 与 −.021 [−.058, .014]。作者称残差区间含零，但不是等价界，也不确立优于 Writes Off。全真实流上接受 89/113，相对 Reject All 的收益为 .0534 [.0299, .0721]，相对 Write All 的配对优势为 .0083 [.0020, .0161]（Table 25）。无验证时，四分之一写入、只读真实上下文及其组合留下 .90、1.04、.28 nats；加上 Settlement 后都在 Writes Off 的 .04 nats 以内（Section 6.2）。Table 26 中，各候选相对同一 W 验证再联合提交的真实文本收益为 −1.093，顺序验证为 +.019，Settlement 为 +.037；伤害与收益来自不同流。
• 标签与智能体：正确标签下 Source Masking 的 NLL 为 3.8072，Settlement 为 3.8196（Table 27）。观测错误率 38.9% 及以上时，配对区间支持 Settlement 更低；100% 标签错误时，按真实来源重分组为真实候选 120/120 被接受、自生成 0/219 被接受。WebShop（Qwen3-4B LoRA，五对种子，Table 28）：exact success 为 Settlement .1853±.0202、Fixed Generation .1800±.0089、Writes Off .1600、Closed Loop .1053±.0597；奖励均值则是 Closed Loop .4356，高于 Settlement .3823 与 Writes Off .3309。验证与最终评估的目标集合，运行器不强制不相交（Appendix G）。ALFWorld（Qwen3.8-27B LoRA，三对种子，Table 29）：未见任务成功率 Writes Off 为 86.8%±0.9；尺度 8/16 的 Closed Loop 为 27.6%±47.8 与 18.7%±32.3，Settlement 为 91.0%±3.0（接受 12/36 块）与 90.0%±1.1（7/36 块）。作者称每个尺度有两个 Closed Loop 种子在 134 个未见任务上完成为零；Settlement 各种子未见成功率为 88.1%–94.0%。Appendix H 写明，这并不确立相对 Writes Off 的总体增益。

其他消融与分析

• 解码与 reset（Table 11，125M，规范六书）：重复惩罚 1.1 的终点差 .8794；每 8 块 reset 为 .1749 [.084, .321]，只保留真实文本适应收益的 44.1%；每 32 块 reset 为 1.9218；全支撑终点差 1.4520，后期斜率 +.1979，为该表最大后期斜率。
• 重复加权（Table 20，十六书、五种子）：相对 Writes Off 的 E，闭环 2.8853，重复加权 1.5637 [1.1858, 1.9825]，随机剂量 2.0558，均匀剂量 2.4861，只读真实上下文 1.3979。
• 写入强度 α（Table 21）：α 从 0 到 2，超额 H 从 0 到 1.9374 [1.0941, 2.9775]，真实文本收益 B 从 0 到 .1009 [.0626, .1373]；每个非零剂量两者皆正。
• 固定接收者（Table 19、Figure 4）：位置 1 的均值/中位数为 .0439/.0422，高于 0.5 nats 者为 0/72；位置 97 为 .7512/.0064，12/72，且这 12 个全来自 24 条源序列中的 4 条。重复分箱的早到晚变化为 +.0587 [−.0382, .3286]，作者称该比较没有分辨出变化。
• Qwen3-4B Adam（Table 2）：学习率 10−4 的自写 H 为 1.231 [.580, 2.350]；10−5 为 .026 [−.071, .122]，区间含零。同一 10−4 在真实文本上的 B 为 .168，括号是两个状态均值的范围 [.132, .204]，不是书级置信区间（Table 18）。
• 十一本 teacher-forced 真实文本流上，保留更新相对 No Updates 使平均 NLL 低 .0340 nats（Appendix B.4）。Table 22 中，匹配写入日程下，只读真实文本相对跳过该槽的终点差为 −1.5693 [−2.3011, −.8433]；只读自生成 token 与随机 token 的区间跨过零。

作者指出的局限与后续方向

论文未专门讨论局限，Discussion、Conclusion 与附录也没有单列后续工作。

实验覆盖范围

• 语言主比较：TTT-E2E 125M、760M、3B，同一六本 PG-19 书、五种子、128K、宽度 8；Fixed Generation 的确认表覆盖其中 125M 与 760M（Table 1、Table 3、Table 10）。
• 非 TTT 模块：Qwen3-4B 最后四个 mlp.down_proj 上的 Adam，八书、三种子、128 块；真实文本收益的括号是两个适应状态均值的范围（Appendix C.5、Table 2、Table 18）。
• 分解与筛选：Recorded Replay 含 3B 的六本源书对六本不相交接收书；单次更新表为 125M，梯度相关另含 760M，每种模型–历史 96 个配对更新。暴露节奏、解码与 reset、Settlement、标签损坏各有单独套件；Settlement 的跨尺度结局在 Appendix E.2 为 125M 十二本书、760M 四本书（Section 5–6，Appendix B–F）。
• 智能体：WebShop 为 Qwen3-4B rank-16 LoRA、五对种子、每策略 900 回合、同一 150 个测试目标；ALFWorld 为 Qwen3.8-27B LoRA、三对种子、140 个已见任务加 134 个未见任务、更新尺度 8 与 16，Writes Off 在两个尺度间共享（Appendix G、H）。
• 统计写法：语言主区间为书内平均种子后对书的 95% bootstrap。梯度冲突一节写明，相关计算使用了测量伤害的真实段落，作者称因此不是这些实验中的选择规则（Appendix C.4）。

持久测试时更新若来自模型自己生成的文本，会同时改变模型和后续训练文本。作者在 PG-19 长流上分解这条闭环，并用独立文本决定是否提交更新。

• 对照：Closed Loop 保留自生成更新，Writes Off 只阅读、不保留。两者都保留初始真实前缀上的更新。主要结局是相对 Writes Off 的额外 NLL 变化 H；独立真实文本可以来自同一本书的不相交后段。
• 分解：Fixed Generation 用冻结模型供数，Recorded Replay 固定 token 后比较只读与写入，配对分支只保留或丢弃一次更新。Settlement 仅在候选状态不升高独立真实文本损失时写入，并且下一候选相对已接受状态判断。
• 跨尺度：同一六书、五种子、128K 上，125M、760M、3B 的 H 为 +3.01、+6.00、+0.40 nats，95% 区间都不含零（Table 1）。作者称这是方向重复，不是随参数量单调变化，幅度也不构成缩放定律。
• 通路：Fixed Generation 去掉 125M 与 760M 匹配闭环差额的 98.3% 与 98.8%（Table 3）。125M 回放中，写入在只读之外再加 2.268 nats（Table 4）。单次更新可以更好拟合来源，同时使下一段真实文本变差（Table 5）。Qwen3-4B 上，Adam 学习率 10−4 的自写 H 为 1.231，而同一配置在真实文本上降低 NLL；10−5 的自写区间含零（Table 2）。
• 筛选：Settlement 在另一套长书实验中的终点差为 125M .07 与 760M −.02 nats，区间含零（Figure 5a）。31% 真实块均匀插入时超额伤害为 .0694 nats，同样预算聚成突发则为 .7155（Table 12）。WebShop 上 Settlement 的 exact success 为 .1853，Closed Loop 为 .1053（Table 28，五对种子）；该表里 Closed Loop 的奖励均值更高。
• 作者结论：作者认为应在保留更新前，用独立证据检查将被提交的完整状态是否改善来源之外的表现；来源拟合和重复都不能充当这条判据。真实文本上的写入仍然可以有益，十一本固定流上相对 No Updates 的平均收益为 .0340 nats。