轻量学习型优化器零样本泛化验证

Minyoung Choi 等作者发表论文，提出一种通过动态重组梯度历史（以不重叠时间段的均值表示）来降低预测空间的轻量学习型优化器。据论文，该优化器用37k参数网络、0.87 GPU小时训练，可零样本泛化到未见任务：在BERT-Tiny和GPT-Tiny上验证损失分别降低9.1%和0.4%，在Vision Transformer上比Adam提升3.5个百分点测试准确率，九个图模型平均提升2.7个百分点，FLOPs开销低至0.3%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。