Pivot-SD：掩码扩散语言模型自蒸馏框架

Seo Hyun Kim等作者发布论文，提出面向掩码扩散语言模型（dLM）的离线自蒸馏框架Pivot-SD。该方法只监督去噪过程中信息增益最高的关键承诺（pivots），而非全部去噪步骤：对成功轨迹的pivots用交叉熵训练，对失败轨迹的pivots用定向unlikelihood训练。 论文称这一设计旨在提升掩码扩散语言模型后训练的效率。目前报道仅给出方法框架，未提供实验效果数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。