MuonIO：嵌入表与输出头的范数感知优化器
热点事件持续更新
MuonIO：嵌入表与输出头的范数感知优化器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Linkai Ma 等作者提交论文，提出 MuonIO 优化器更新规则，为嵌入表和语言模型输出头提供统一的 Muon 式更新：嵌入表基于 1→2 算子范数做列归一化，输出头基于 2→∞ 算子范数做行归一化。 论文称，在 1B LLaMA 的 C4 预训练中，相比 Muon，MuonIO 将优化器状态内存降低 50%、更新 FLOPs 减少约 46%，同时改善验证困惑度。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
MuonIO：面向嵌入表与语言模型输出头的规范化下降优化器报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv：cs.LGMuonIO：面向嵌入表与语言模型输出头的规范化下降优化器
MuonIO 为嵌入表和语言模型输出头提供统一的 Muon 式更新规则，分别基于 1→2 和 2→∞ 算子范数，对嵌入表做列归一化、对输出头做行归一化。在 1B LLaMA 的 C4 预训练中，相比 Muon 将优化器状态内存降低 50%、更新 FLOPs 减少约 46%，同时改善验证困惑度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。