研究重估扩散语言模型预训练算力差距

一项由 Guanghan Wang 等作者发布的研究重新审视了扩散语言模型（DLM）预训练算力约为自回归模型（ARM）16倍的说法，结论是这一差距被大幅高估。 研究采用精确似然评分、块扩散训练、编码器-解码器架构及块大小扫描的新协议，在约1700个模型、10种变体上实验：精确似然评分将倍数降至12.8倍，块大小32下进一步降至7.8倍，块大小8和4时分别收窄至4.6倍和3.0倍。 作者称，16倍这一数字实质上高估了 DLM 与 ARM 之间的预训练成本差距，从头预训练 DLM 远比此前认为的可行。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。