αTransfer：小模型搜索系数迁移至大模型合并

Shih-Cheng Huang 等作者发表论文提出 αTransfer，一种通过在小代理模型上搜索最优合并系数、再迁移到更大目标模型的模型合并方法。其依据是同族模型在不同规模下对合并系数表现出高度一致的效果分布。 论文称，该方法在视觉 Transformer 上实现 6 倍提速、内存降低 70%，在大语言模型上提速 20 倍、内存降低 85%，同时保持性能相当。该范式已在多种合并方法、模型族和任务上得到验证，代码尚未开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。