SMAT：训练时模拟模型合并以提升合并效果

研究者提出一种合并感知训练方法 SMAT（Simple MAT），把常见模型合并操作归纳为缩放、掩码和扰动三类，在训练时联合优化专家损失与模拟合并参数下的期望损失，使模型在合并后性能更好。 据论文数据，在四个语言与视觉语言骨干模型上，SMAT 在五种合并方法上的平均得分比各自最强基线提升 1.07–2.16 分，训练时间开销相较标准微调不足 2%。该方法每步仅需一次前向和一次反向传播，并采用周期性调度、算子融合与参数存储切换提升效率。 上述数据来自作者 Yanggan Gu 等的论文，为作者报告的结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。