Grokking 成因新解：低损失区域错位

1. 12:00
   arXiv：cs.LG

   低损失区域错位导致 Grokking：一项基于模式连通性的分析

   研究提出基于模式连通性与低损失区域几何的分析框架，发现标准模运算设置并非总产生 Grokking：在保持对称性的训练/验证划分下出现验证性能不恢复的稳定 anti-grokking 反例。该框架进一步表明，Grokking 源于训练与验证划分诱导的低损失区域错位；一旦区域对齐，仅靠训练超参数无法产生 Grokking，动力学坍缩为可训练或不可训练行为。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。