arXiv 论文称梯度流会误判有限批 SGD
热点事件持续更新
arXiv 论文称梯度流会误判有限批 SGD
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Ruoyu Zhao 等人在 arXiv 发布研究称，群体梯度流会定性上误判有限批 SGD 的行为，原因在于稀有 ReLU 门分歧。 论文以两单元 ReLU 回归为例：源任务训练时间 T 后，大批量在线 SGD 在 T≳log(b/η) 时以高概率长期无法恢复目标任务，而小步长 SGD 仍能恢复，说明这种失败需要小步长与长预训练共同作用。 论文给出恢复条件：所需目标样本数 Nb≳e^{λT}、批量 b≳η e^{λT}；模拟中恢复近似取决于分歧预算 bδ/η。
AI 根据报道生成 · 54 分钟前更新
最新进展10月9日 12:00
稀有门分歧会限制可塑性：梯度流何时会误判有限批 SGD报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.LG稀有门分歧会限制可塑性：梯度流何时会误判有限批 SGD
研究者发现，群体梯度流会定性上误判有限批 SGD 的行为，机制源于稀有 ReLU 门分歧。在两单元 ReLU 回归中，源任务训练时间 T 后，大批量在线 SGD 在 T≳log(b/η) 时以高概率长期无法恢复目标任务，而小步长 SGD 仍能恢复，说明失败需小步长与长预训练的共同极限。恢复所需目标样本数满足 Nb≳e^{λT}、批量 b≳η e^{λT}，模拟中恢复近似取决于分歧预算 bδ/η。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。