常数学习率SGD的强高斯近似研究

Joseph Keslin 与 Wei Biao Wu 发表论文，为恒定学习率随机梯度下降（SGD）构建了 KMT 型强高斯近似，并给出 SGD 误差与其极限之差的概率上界。该结果在重尾噪声下成立，要求迭代次数增长与学习率收缩同步进行。 论文指出，当学习率按 γ_n=c/√n+o(n^{-1/2}) 缩放时，偏差控制与初始化效应之间存在权衡。作者采用 Burn-in 方案与 Richardson-Romberg 外推来消除这两项贡献，用于轨迹推断。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。