研究：权重衰减扰动在Grokking平台期后期形成稳定泛化排序

一项 arXiv 机器学习论文报告，在三个 grokking 任务的泛化前平台期施加短时固定时长的权重衰减扰动后发现：扰动对后续泛化时间的影响在平台期早期无序，到后期则形成稳定的剂量排序，更强的权重衰减使泛化更早、更弱则更晚。研究者称，扰动与基线检查点之间的测试损失壁垒趋于零，但上述时序效应持续存在，ℓ1 正则化下也观察到类似的响应重组，并将这一现象称为 grokking 解选择的渠道化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。