DiffusionART：扩散模型高效稳定强化学习

Zhenglin Wan 等人提出并公开扩散模型在线强化学习微调方法 DiffusionART。该方法采用“聚合优先奖励倾斜”，把每个 prompt 的奖励聚合为反向过程状态共享的奖励改进方向，从构造上消除 NFT 类目标中隐藏的正反向一致性力，并加入带信任域掩码的二次更新以自适应恢复漂移，无需 EMA 调参。 据论文称，该方法不需要可微奖励模型，在单个 prompt 样本较少时仍有效，并支持成对奖励模型（DiffusionART-Pairwise）；在图像和视频生成上无需逐任务调参即可稳定训练。在 HunyuanVideo-13B 上以视觉与运动质量等权奖励测试时，达到 DiffusionNFT 和 Flow-GRPO-Fast 后期平均奖励水平所需的 GPU 小时分别少 12.02 倍和 11.72 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。