热点事件持续更新

新论文提出用Hilbert距离统一Muon优化器设计

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Aditya Somasundaram等作者提交论文，提出用Hilbert距离作为softmax模块优化器设计的统一框架，以约束输出分布变化并界定交叉熵损失变化。论文称，Muon通过线性层输出的RMS位移控制权重更新，但该代理指标在softmax处失真，RMS激活变化无法忠实反映输出分布变化；Hilbert距离对softmax表现为预激活扰动的变分半范数，可将概率约束转为参数约束，并限制概率重分配。

AI 根据报道生成 · 1 小时前更新

最新进展10月15日 12:00

用 Hilbert 几何统一 Muon 在 softmax 极限下的优化：RowNorm 与 Compositional Muon 的数学框架

报道时间线

沿着报道，了解事件的不同侧面。

10月15日

12:00
arXiv：cs.AI
用 Hilbert 几何统一 Muon 在 softmax 极限下的优化：RowNorm 与 Compositional Muon 的数学框架
Muon 通过线性层输出的 RMS 位移控制权重更新，但该代理指标对 softmax 失真，RMS 激活变化无法忠实反映输出分布变化。作者提出用 Hilbert 距离约束输出分布变化，可界定交叉熵损失变化并限制概率重分配，对 softmax 表现为预激活扰动的变分半范数，从而把概率约束转为参数约束。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。