最小范数插值视角下的Grokking统计理论

1. 12:00
   arXiv：cs.LG（机器学习，全量分类）

   从最小范数插值视角理解 Grokking：稀疏正则化如何决定延迟泛化

   一项统计理论从最小范数插值视角刻画了 Grokking 中正则化几何与信号稀疏性如何决定泛化。研究在强过参数化无噪声问题上证明了零一泛化定律，并构造出一族凸范数，其插值器在训练误差保持为 0 的同时从全零预测器的平凡风险过渡到精确恢复。实验在对角线性网络和模运算 Transformer 上验证了理论预测，并揭示最小范数插值存在统计不稳定性：正则化强度的微小扰动即可导致泛化性能剧变。

当前热度 9·可比范围峰值 10（10月2日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。