损失曲率可无采样判断扩散模型记忆

一篇 arXiv 论文提出用输入损失曲率——扩散模型训练损失 Hessian 的 Frobenius 范数——量化扩散模型的记忆化，无需采样即可判断模型何时开始复述训练数据。作者 Shashank Sule 等人称，该指标可同时反映关于记忆化的两种视角，训练集与验证集的平均输入曲率能指示复述训练数据的起点，但不足以衡量单个样本被记忆的概率。 作者还引入扩散模型的反事实记忆化定义，证明其由留一模型的输入曲率控制，从而在样本的局部损失景观与生成概率之间建立理论联系。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。