合成预预训练在更大规模下仍有效但非语法先验

2026年10月1日，HuggingFace Daily Papers 收录一项关于合成预预训练（PPT）的研究。该研究覆盖 500M 至 7B 参数规模、预训练预算最高 100B tokens，结果显示在合成非自然语言数据上进行预预训练所带来的下游性能与 token 效率增益，在规模扩展后依然成立；在 3B 规模下至少可节省 21B 预训练 tokens。报道同时指出，这一效果并非源于语法先验。目前该研究以社区热门论文形式受到关注，尚无更多后续进展披露。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。