多语言模型持续预训练中的知识保持研究

arXiv 2026年10月5日的一篇论文研究了多语言模型在持续预训练中的灾难性遗忘问题。作者 Sanchit Ahuja 和 Terra Blevins 通过插值 gemma-3-4b 在持续预训练前后的模型状态，在五个语系上定位遗忘：中层回退对阅读理解恢复效果最大，翻译效果则因语系和方向而异。 基于此，作者评估了层冻结、层范围 L2 正则、事后层回退与 model souping 四种策略。层冻结平均超过基座模型表现，但翻译结果不一；密集训练或事后回退常优于训练时约束。作者提出以插值定位作为诊断手段，在投入训练干预前识别候选层。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。