研究者提出AIR学习率调度方法

Qifan Yu等研究者提出AIR（Affine Inverse-square-Root decay）学习率调度方法，将理论推导的1/√t衰减与仿射调整结合，在有限训练周期内满足预设的峰值学习率和终端学习率。 研究指出，权重归一化（WN）训练在预训练损失上的收益主要来自其诱导的有效学习率（ELR）轨迹，而非归一化本身；当ELR轨迹匹配后，WN与权重衰减（WD）的训练损失动态基本一致。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。