时点语言模型发布训练管线与月度检查点

研究者 Bryan Kelly 等人发布了一套时点（point-in-time）语言模型的完整训练管线，包含数据集构建、训练基础设施和评测代码，并公开覆盖 2013 至 2024 年的月度模型 checkpoint。模型为 decoder-only Transformer，最高 4B 参数，训练数据取自 FineWeb 中按时间过滤的 1 万亿 token。 研究者称，扩大模型规模可大幅缩小这类受时间限制的模型与不受时间限制模型之间的性能差距。发布管线的目的是支持可复现的时点语言建模，以及需要严格时间有效性的研究应用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。