SGD在基于分数生成模型中的收敛性分析

Stanislas Strasman等人提交论文，研究随机梯度下降（SGD）在基于分数的生成模型（SGMs）训练中的优化动力学。对一般分数参数化，论文给出加权去噪分数匹配目标下SGD的非凸分析，明确优化界与损失权重及时间采样分布的关系。 对过参数化两层ReLU网络，论文通过Neural Tangent Kernel分析，推导出沿SGD轨迹的分数近似误差界。上述结果为arXiv预印本。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。