Anthropic 可解释性团队用玩具模型研究叠加、记忆与双下降

Anthropic 可解释性团队（Transformer Circuits）发布研究，把此前关于玩具模型的工作扩展到模型如何在训练数据之外泛化的问题上，探讨叠加、记忆与双下降之间的关系。作者指出，尽管过拟合是深度学习的核心问题，但目前对模型如何过拟合训练数据仍缺乏机制层面的理解，该研究试图为此提供线索。