HB动量梯度下降被证明等价于修正损失GD

Matias D. Cattaneo 和 Boris Shigida 发表 arXiv 论文，证明当步长 h 足够小时，Polyak 重球动量（HB）梯度下降在指数吸引不变流形上等价于带修改损失的普通梯度下降。 作者将该修改损失分析到 O(h^R) 误差（R 为任意有限阶），并给出全局轨迹近似界 O(h^R)，结论覆盖全批量与 mini-batch HB。HB 的固定动量超参数 β 取值于 (0,1)，提供记忆的指数衰减。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。