RanSOM：随机步长实现免Lipschitz Hessian的二阶动量优化

El Mahdi Chayti 与 Mohamad Fakhouri 提交论文预印本（v3），提出二阶动量优化方法 RanSOM，通过将步长随机化来消除二阶动量校正对 Lipschitz Hessian 或额外前向、反向传播的依赖。 该论文称，当步长服从均值为 η 的指数分布时，一种 Stein 型恒等式使新迭代点处一次 HVP 乘以 η 成为梯度变化的估计，该估计在步长上按期望无偏，且这次 HVP 与下一次梯度共享前向传播；其 Beta 分布变体 RanSOM-B 可保持 Frank-Wolfe 迭代可行。 论文还称，在梯度 Lipschitz、梯度与 Hessian 噪声重尾且尾指数 p、q 均属于 (1,2] 的目标上，RanSOM-E 在不需要 Lipschitz Hessian 和裁剪的情况下，对所有 (p,q) 组合（含 p≠q）达到最优 oracle 复杂度指数；p=q=2 时为 O(ε^{-3})。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。