Adam 稳定性边缘与梯度反转研究

1. 12:00
   arXiv：cs.LG

   Adam 在稳定性边缘：自适应反馈、可证明振荡与梯度反转

   研究揭示全批量 Adam 的稳定性边缘（EoS）现象源于其二阶矩自适应构成的负反馈机制，该机制通过"活跃曲率"将动力学推向稳定边界。该机制预测 Adam 在边缘附近出现梯度反转，即连续梯度反复指向近乎相反方向，并在全连接网络、ResNet、ViT、LSTM、GPT-2 medium 及 Adam 系列优化器上得到验证。对迭代取平均可抑制这种快速振荡，得到更平滑、更低的损失曲线。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。