普通SGD在距离相关矩下的稳定性与界

Wei Biao Wu 发表论文，研究普通单样本随机梯度下降在距离相关条件矩下的有限时域稳定性。论文称仅用二阶矩即证明期望平均梯度平方达到 T^{-1/3} 的稳定性，其显式复杂度推论与已知光滑 Blum-Gladyshev (BG-0) 下界匹配。 对 p>2 情形，论文通过可预测局部化与 Hilbert 空间 Fuk-Nagaev 不等式给出高概率界，将对数方差与多项式稀有冲击的贡献分离，局部化半径由递推导出。该分析不依赖有界迭代、裁剪、归一化、动量或增大批量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。