扩散模型结构性记忆研究

Tim Kaiser 与 Markus Kollmann 发表论文指出，扩散模型会逐步过拟合去噪训练目标，在中间噪声水平上形成泛化差距。两人称，模型误差会抑制对训练点的精确召回，产生平滑的泛化流场而非简单复制样本；推理轨迹的预测与加噪训练图像的预测处于不同特征空间区域，随训练推进和模型增大，预测对训练数据的相对亲和力增强。作者据此认为，去噪目标与推理轨迹以不同方式表现结构性记忆。 Gwangho Kim 与 Sungyoon Lee 的跟进论文分析了高维比例极限下的随机特征条件得分模型，推导出训练与测试损失的渐近表达式，并提出“恶性泛化”现象：在过参数化区间，增大模型宽度能改善条件依赖均值的预测，同时降低条件内预测方差。该研究还发现条件信息量越大，训练样本会在更小的宽度下被记忆，U-Net 在真实数据上的实验支持了这些结论。

AI 根据报道生成 · 53 分钟前更新

1. 10月9日 12:00 · 1 篇报道
   条件扩散模型记忆与恶意泛化理论研究
   arXiv：cs.LG：条件扩散模型中的记忆与恶性泛化：随机特征理论分析
2. 10月9日 12:00 · 1 篇报道
   扩散模型结构性记忆研究
   arXiv：cs.LG：扩散模型的结构性记忆：超越样本复制

还没有足够的连续观测数据，暂不绘制趋势。