Thinking Machines Lab 提出模块化流形与流形版 Muon 优化器

Thinking Machines Lab 提出将神经网络各层权重约束在子流形上的思路，并给出权重约束在 Stiefel 流形（条件数为 1 的矩阵流形）上的流形版 Muon 优化器，该工作基于 Jianlin Su 与 Franz Louis Cesista 的研究。文章还提出"模块化流形"概念，即一种可组合流形，目标是让大型网络的扩展与训练更容易，并希望社区在文末列出的方向上继续推进。