研究者提出残差修正子空间优化算法SMRC与PMRC

Sifan Yang 等作者提交论文，提出一种带残差修正的内存高效子空间优化框架：把优化器状态保留在低维子空间中，同时在参数更新中加入正交残差梯度，以弥补子空间优化丢失的信息。 该框架先与 momentum SGD 结合得到 SMRC，在固定正交基下取得 O(T^{-1/4}) 的收敛率，作者称其与全空间 momentum SGD 相当。论文未在现有信息中给出 PMRC 的具体收敛结果或实验设置。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。