热点事件观察中

循环结构提升均匀扩散语言模型训练效率

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Saiteja Utpala 等人提交论文，研究选择性循环能否提升 Uniform 扩散语言模型（UDLM）的训练效率。论文称在训练目标和采样器不变的情况下，循环 UDLM 在 OpenWebText 上以最多 2.8 倍更少的训练 FLOPs、在 FineWeb-Edu 上以 3.3 倍更少的 FLOPs，达到非循环 UDLM 约 0.5 万亿 token 训练时的验证 NLL。这些数字来自论文自述，衡量的是达到相同验证 NLL 所需的训练算力，并非已在其他模型或任务上验证的普遍效果。

AI 根据报道生成 · 45 分钟前更新

最新进展10月21日 08:00

Looped Uniform Diffusion Language Models：循环 UDLM 训练效率最高提升 3.3 倍

报道时间线

沿着报道，了解事件的不同侧面。

10月21日

08:00
HuggingFace Daily Papers
Looped Uniform Diffusion Language Models：循环 UDLM 训练效率最高提升 3.3 倍
研究在保持训练目标与采样器不变的前提下，把选择性循环引入 Uniform 扩散语言模型（UDLM）。循环 UDLM 在 OpenWebText 上以最多 2.8 倍更少训练 FLOPs、在 FineWeb-Edu 上以 3.3 倍更少 FLOPs 达到非循环 UDLM 约 0.5 万亿 token 训练的验证 NLL。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。