免重训练让Transformer按需伸缩

Walter Simoncini 等作者提出一种免重训练方法，把预训练的 Transformer 转成单一弹性模型，可在不同计算预算下动态调整，无需权重校正或重训练。 该方法在同一尺度上联合排序每个 MLP 神经元与注意力头，在 27 个 22M 至 8B 参数的视觉与文本编码器上，作者称最高 60% 稀疏度内仍能平滑退化，深度剪枝时优于 one-shot 基线。 据作者称，弹性模型数分钟内即可生成，构建时间随参数量次线性增长，代码已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。