Muon非光滑优化失效与MAGD修复

一篇新论文证明，对任意固定动量因子 β∈[0,1)，Muon 在凸 Lipschitz 目标上从几乎所有初始化都无法逼近全局最优解，即使迭代有界。论文作者 Lexiao Lai、Tianyi Lin、Jiayu Zhang 称，障碍出在固定动量而非正交化本身，因此需要修改动量机制才能恢复收敛。 论文同时提出 MAGD 方法以修复这一问题。该研究采用与反向传播兼容的广义导数框架分析局部 Lipschitz 函数。需要说明的是，上述失效结论目前来自该论文自身的理论分析。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。