自生成反馈会破坏测试时训练：长时程适应的因果分解
Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation
AI 导读
作者研究模型在推理时持续从自身输出学习所形成的反馈回路，在 128K token 流上测试了 125M 到 3B 的 TTT-E2E 模型以及基于 Adam 的 Qwen3-4B 适应过程。结果显示反馈是损害的主要来源：改用冻结模型生成训练文本，在 125M 和 760M 上消除了超过 98% 的损害，即使学习器仍在生成文本上更新。更好的源拟合可能意味着更差的迁移，一次更新可以改善对训练段落的预测，却损害独立的真实文本。作者提出的 Settlement 测试会在保留候选更新前用独立文本进行验证，显著降低损害同时保留真实文本上的适应能力，代码已开源于 GitHub。