扩散模型记忆化可在生成样本前被检出

Nikhil Verma等作者提交论文称，扩散模型的记忆化会在生成样本出现之前先编码进学习到的能量景观几何中，他们把这一状态称为“潜在记忆化”，并据此提出用score divergence和盆地体积在首个记忆样本出现前检测训练样本周围的局部盆地。 论文报告，循环去噪能从一次采样不含复制样本的CelebA和CIFAR-10检查点中还原训练图像；在一个一次采样复制比例为0.1%的CelebA检查点上，500次循环把记忆化比例提高到30%以上。作者称该结论在Gaussian mixture、CelebA和CIFAR-10上跨优化器、架构、噪声调度和训练集规模成立，并扩展到Stable Diffusion v1.4：循环的条件—无条件散度差在1%假阳性率下以AUC 0.944、TPR 0.866区分记忆化与非记忆化提示词。这些均为论文自述结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。