Adam 与自然梯度下降的几何偏差研究

1. 12:00
   arXiv：cs.LG

   Adam 距离自然梯度下降有多远？

   一项 arXiv 研究把 Adam 的完整更新规则（含动量）视为带对角截断、经验标签替换和时间滞后的对角经验 Fisher 近似，用尺度不变的 γ(Δθ) 度量其在四类损失景观上与真实 NGD 的几何偏差。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。