A2D：免训练迁移AR后训练权重增强扩散语言模型

研究者提出 A2D，一个免训练框架，可将已有的自回归（AR）后训练权重更新直接迁移到扩散语言模型上，用于增强已后训练的扩散模型。 据作者 Yiming Qin 等称，AR 与扩散的后训练更新在权重空间中近乎正交，但引起的表征变化高度一致且互补，因此把两者组合可以同时保留各自收益并进一步提升扩散模型。 该工作为 arXiv 上 cs.LG 分类的预印本，结论基于作者自身的实验与分析。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。