研究提出曝光框架追踪LLM预训练延迟泛化

Sherin Muckatira 等作者发表论文，提出基于曝光的框架，用于在 LLM 预训练中研究类 Grokking 的延迟泛化动态。该框架以 BLiMP 最小对为评测基础，按关键短语是否出现在预训练窗口划分 proxy-train 与 proxy-validation。 研究在五种语法现象上均观察到延迟泛化：泛化发生后，语法概念向量对语法可接受性的预测性更强、占据更高维子空间，且关键 token 对相关上下文 token 的注意力集中在少数注意力头上。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。