Dwarkesh Patel 分析：2019-2025 年预训练进展主要来自数据改进

Dwarkesh Patel 通过训练 2019-2025 年各年度代表性模型配方与数据语料的组合（最高 1e19 FLOPs，用 OLMES 评估）发现，数据改进带来 12.0x 计算效率提升，模型改进为 3.7x，数据贡献约为模型的 3.24 倍；模型与数据收益基本相互独立，88% 的 OLMES 分数方差可由二者的加性效应解释。