信息论框架解释Grokking与模型容量关系

Yiding Song、Hanming Ye 发表论文，提出用信息论解释 Grokking（模型先记住训练集、随后突然泛化）与模型容量的关系。在模算术任务上的分析显示，Grokking 并非模型大到足以记住训练集就立即出现，而是记忆速度 T_mem(P) 与泛化速度 T_gen(P) 两种可测量时间尺度竞争的结果，两者均为参数量 P 的函数；Grokking 出现在两个时间尺度相交的参数量级附近。该框架还提出根据模型容量与数据集复杂度预测记忆速度的经验模型，与“更大模型记忆更快”的观察一致。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。