研究提出为 Adam 从短程试运行选择共享记忆参数的方法

Alberto Fernández-Hernández 等作者提出一种为 Adam 选择共享记忆参数 β₁=β₂=β 的方法：先从一段短程试运行中选定 β，之后在完整训练中保持固定。 该方法基于 Adam 归一化方向的局部模型，在采样波动与梯度平均延迟之间取得平衡，得出三次记忆规则，其两个系数由少量试运行检查点的梯度探测估计，并联合使用分子与分母以保留其协方差。 该方法是论文中的提议，其选定 β 的实际训练效果尚待验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。