Thinking Machines Lab 提出模块化流形与 Muon 优化器的流形版本

Thinking Machines Lab 发表博客《Modular Manifolds》，主张将神经网络权重矩阵约束在各层的子流形上，并以此重新设计优化算法。文中提出的 Muon 优化器流形版本把权重视为落在 Stiefel 流形——条件数为单位的矩阵集合——之上，使学习率能等同于实际的优化步长。该工作基于 Jianlin Su 与 Franz Louis Cesista 的研究，并提出"modular manifold"概念以便组合与扩展到大规模网络训练。