预训练自回归图像模型可改为任意顺序生成

Rishav Pramanik 等研究者提出一套方法，可将预训练的栅格扫描自回归图像模型改造为任意顺序生成器，无需从头训练。该方法由未来感知位置嵌入和顺序课程两部分组成，前者解决目标位置的可识别性问题，后者引导模型从预训练解稳定过渡到任意顺序生成。 研究者在 LlamaGen-L/XL 与 RAR-L/XL 四个模型上验证：ImageNet 修复任务 FID 为 6.21，低于 MaskGIT 的 10.44。改造额外算力为预训练的 13%–33%，且不改动标准自回归推理栈。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。