arXiv 研究：生成式回放缓解语言模型遗忘

一篇提交至 arXiv 计算语言学分类的研究提出用「生成式回放」缓解语言模型持续指令微调中的遗忘：把任务描述与示例组织成 Task Bank，用冻结模型生成回放数据，帮助模型在学新任务时保住旧任务能力。 在 Qwen 不同规模模型上的持续指令微调实验显示，生成回放能减少 bank 之外任务的遗忘，组合部分 bank 还能比单一 bank 更好地保留此前的正确答案。选择目标时引入新任务信息，在 4B 规模上比随机选择保留效果更好，更小模型则没有这一优势。 研究者同时发现一种取舍：在示例预算固定时，用回放替换新任务示例能提升旧任务保留，但新任务上的收益会变小。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。