SFA与Lookahead缓解持续学习遗忘

Anat Kleiman等作者提出并评估了Sequential Fine-tuning with Averaging（SFA）方法，与免回放的Lookahead一起用于缓解持续学习中的灾难性遗忘。 在Qwen3-14B适配器持续学习实验中，这两种周期性参数插值方法在平均最终准确率上超过所测试的回放与自适应合并配置，任务训练时间最多减少36.3%。作者称，在语言和视觉任务上，这两种固定配置的方法结果可与更复杂的持续学习方法相比。 作者据此表示，在引入更复杂的遗忘缓解机制前，训练中的简单插值值得考虑。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。