GD在非线性网络中收敛速率下界被证明

一项新研究证明，梯度下降（GD）在非线性神经网络中收敛到最优鲁棒性间隔的速率极慢，严格为 Θ(1/ln(t))。作者称这是首个针对非线性模型鲁棒性间隔收敛速率的显式下界。 该结论基于最简设定：仅含两个神经元的 ReLU 网络、两个训练样本的二分类问题。在此设定下 GD 虽能收敛到最优鲁棒性间隔，但速率慢到被作者称为“令人望而却步”。仿真显示这一失效模式在多种自然网络初始化下普遍存在，且速率一致。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。