研究称模型合并隐式正则化限制性能

arXiv 上一项机器学习研究指出，模型合并中通过额外数据集搜索任务权重更新线性组合系数的标准做法会引入隐式正则化，把候选模型限制在任务特定权重更新张成的子空间内。作者 Sin-Han Yang 等人实验发现，去掉该正则化、直接优化合并模型权重，在多种架构与领域乃至每类仅一个样本的极端数据受限场景下，都显著提升常见合并方法性能；直接优化预训练权重甚至优于部分现有合并方法。分析显示，更优的多任务权重存在于该子空间之外，作者据此呼吁重新审视现有模型合并流程。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。