上下文线性回归 Transformer 中的瞬态结构动力学
Dynamics of Transient Structure in In-Context Linear Regression Transformers
AI 导读
Transformer 在中等任务多样性的上下文线性回归任务上训练时，会先表现得像岭回归，再特化到训练分布内的任务，作者称之为瞬态岭（transient ridge）。联合轨迹主成分分析揭示了这一从通用解到特化解的转变，作者基于损失与复杂度之间不断变化的权衡，用 Bayesian 内部模型选择理论给出一般性解释。作者还通过局部学习系数度量模型复杂度，实证验证了该解释。