研究者提出谱目标化Muon优化器
热点事件持续更新
研究者提出谱目标化Muon优化器
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究者 Vishrut Goyal 与 Rohan Ramkumar 提出 Spectrally Targeted Muon，对 Muon 优化器的正交化策略作了修改：只对阈值 τ 以上或以下的奇异值做正交化。两人称，改变 τ 可以在归一化 SGD 与 Muon 之间插值。 在计算上，该方法用 Newton-Schulz 迭代在移位 Gram 矩阵上求投影，无需 SVD。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
Spectrally Targeted Muon：改写 Muon 优化器的正交化策略报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.LGSpectrally Targeted Muon：改写 Muon 优化器的正交化策略
研究者提出 Spectrally Targeted Muon，只对阈值 τ 以上或以下的奇异值做正交化，使 τ 变化可在归一化 SGD 与 Muon 之间插值，并用 Newton-Schulz 迭代在移位 Gram 矩阵上计算投影、无需 SVD。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。