RR-SGD末次迭代收敛界去掉1/n步长限制

Zijun Chen 与 Zihan Zhang 发表论文，为标准随机重排梯度下降（RR-SGD）的末次迭代建立了期望目标间隙界。该结果针对无约束问题、凸且 L-光滑的分量函数，采用常量分量步长，条件是 0<η≲1/(L(1+log(nK)))，K 为 epoch 数。 方法上，作者通过在随机比较点保留采样偏差，移除了此前步长限制中显式的 1/n 因子。论文称，结合已有小步长界，该结果在忽略对数因子后与对应的平均迭代收敛速率持平。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。