去噪器雅可比谱分析区分生成模型
热点事件历史事件
去噪器雅可比谱分析区分生成模型
2 篇报道1 个报道来源28 天前更新
先了解这件事
AI 综述
Alexandros Graikos 等研究者提出，用去噪器雅可比的谱特性刻画扩散、流匹配等生成式去噪模型的差异，发现生成性能更好的模型对应更大的雅可比特征值。作者据此设计正则化方案，在扰动输入上训练去噪器以抑制或放大雅可比响应，并在 ImageNet 上验证：同时强化数据相关主特征方向、抑制噪声无关方向可改善生成效果。 Tongtong Liang 等研究者则从 Diffusion Transformer 的残差流入手，发现用干净数据预测目标可成功训练大像素块，而噪声或速度预测会失败，原因是噪声目标要求残差流在深层网络中持续保留与噪声相关的输入变化，形成“残差流负担”。他们引入 SiHC 直接扩展并重组残差流带宽，在 ImageNet 256² 上达到 FID 1.71。
AI 根据报道生成 · 27 天前更新
最新进展10月8日 12:00
残差流负担如何塑造 Diffusion Transformer 的表征学习事件进展
2 个进展
- 10月8日 12:00 · 1 篇报道提出SiHC缓解扩散Transformer残差流负担arXiv：cs.LG：残差流负担如何塑造 Diffusion Transformer 的表征学习
- 9月30日 12:00 · 1 篇报道提出通过去噪器雅可比谱分析生成模型差异arXiv：cs.LG：生成式去噪模型 Jacobian 谱特性研究：用谱分析区分扩散与流匹配模型
报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv：cs.LG残差流负担如何塑造 Diffusion Transformer 的表征学习
研究发现，Diffusion Transformer 在大像素块上使用干净数据预测目标可成功训练，而噪声或速度预测则失败，原因在于噪声目标要求残差流在深层网络中持续保留与噪声相关的输入变化，形成"残差流负担"。
9月30日
- arXiv：cs.LG生成式去噪模型 Jacobian 谱特性研究：用谱分析区分扩散与流匹配模型
研究提出用去噪器 Jacobian 的谱特性来刻画扩散、流匹配等生成式去噪模型之间的差异，发现生成性能更好的模型对应更大的 Jacobian 特征值。作者据此设计了一种正则化方案，通过在扰动输入上训练去噪器来抑制或放大 Jacobian 响应，并在 ImageNet 上验证：同时强化数据相关主特征方向、抑制噪声无关方向能改善生成效果。