研究揭示语言模型微调中的虚假遗忘机制

机器学习研究显示，语言模型微调时看似遗忘的知识常仍被存储且可恢复，这一现象被称为虚假遗忘。研究者用一个最小联想记忆模型复现该动态，认为共享结构的键、集中的新值和网络归一化三者共同作用，使微调将旧表征沿同一方向移动，从而掩盖旧事实但保留其相对几何关系；归一化在新事实学会后撤回该偏移，而事实特异的变化则累积造成侵蚀。该结论来自 arXiv 的机器学习论文，属模型机制层面的解释。 研究者称该模型可复现虚假遗忘动态，但这一解释是否适用于更大规模模型，报道未作说明。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。