影响动态与分阶段数据归因
Influence Dynamics and Stagewise Data Attribution
AI summary
一项研究提出基于奇异学习理论的分阶段训练数据归因框架,预测样本影响力会随训练阶段非单调变化,出现符号翻转和发展转折处的尖峰。该预测先在玩具模型中经解析与实证验证,影响力动态变化对应模型对语义层级的渐进学习;在语言模型上,token 级影响力变化与已知发展阶段吻合。
Influence Dynamics and Stagewise Data Attribution
一项研究提出基于奇异学习理论的分阶段训练数据归因框架,预测样本影响力会随训练阶段非单调变化,出现符号翻转和发展转折处的尖峰。该预测先在玩具模型中经解析与实证验证,影响力动态变化对应模型对语义层级的渐进学习;在语言模型上,token 级影响力变化与已知发展阶段吻合。