arXiv：cs.LG（机器学习，全量分类）· Yuantao Deng, Jinnuo Liu, Kaizhen Tan, Yuchen Liu·· 1 天前AI 评分37
早期学习如何塑造持续学习中表征变化的方向
Early Learning Shapes Later Directions Of Representation Change In Continual Learning
AI 导读
研究提出"脚手架"概念：早期表征漂移形成的低维子空间会被后续任务持续复用。在四个预训练视觉编码器和两个数据集上，后续表征变化一致偏向该早期子空间而非匹配的随机替代方向，且这种复用依赖学习历史。将运动约束在脚手架内会减慢新任务习得，但对旧任务保持的影响不一致。
来源：arXiv：cs.LG（机器学习，全量分类） · arxiv.org