研究：化学语言模型预训练增益有限

一项2026年10月发布在arXiv的研究系统考察了化学语言模型（CLM）的预训练效果，结论是预训练带来的下游增益并不随规模扩展，性能饱和且低于梯度提升基线。 研究覆盖64个分子性质预测数据集，作者为Leif Sieben与Yoel Zimmermann。在评估的各类预训练方式中，只有基于传统物理化学描述符的监督预训练能稳定提升下游表现，部分预训练方式甚至使模型不如随机初始化的编码器。 这意味着对化学语言模型而言，预训练并非普遍有效；在报告所测范围内，传统描述符监督预训练是唯一稳定的提升路径。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。