GSAM采用递增批大小与衰减学习率的收敛性获证

Hinata Harada 与 Hideaki Iiduka 发表论文，从理论上证明了 GSAM 算法在采用递增批量大小或衰减学习率（如余弦退火、线性学习率）时具有收敛性。 GSAM 是 Sharpness-Aware Minimization（SAM）的变体，这类算法通过寻找平坦局部极小值来提升深度神经网络的泛化能力。论文的数值实验对比显示，使用递增批量大小相比恒定批量大小和学习率，能达到更低的 worst-case ℓ∞ 自适应锐度。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。