两层线性网络训练获全局指数收敛证明

Stephen Y Zhang 与 Gabriel Peyré 提交论文，证明宽两层线性网络在 rich scaling 下，使用平滑 Polyak-Lojasiewicz 预测损失时，训练可实现带显式速率的全局指数（线性）收敛。 论文称，梯度流在因子上精确闭合为神经元律协方差的有限维 Bures 流；当初始协方差满足谱支撑间隙条件时，损失以至少 4σ²κ 的线性速率收敛至全局最小值，κ 为 PL 常数。该速率在有限宽度采样下保持稳定，并扩展至深度线性 ResNet 及 heavy-ball 动量情形。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。