跳到正文
热点事件持续更新

CoDR:扩散语言模型免训练重掩码方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

研究者提出一种面向掩码扩散语言模型的细化方法 CoDR(置信度漂移重掩码)。该方法免训练、与采样器无关,仅用 k 次前向传播估计所有已提交位置的置信度漂移,再对模型不再认可的 token 重新掩码并生成。 该方法针对的问题是:在这类模型中,已提交 token 不可逆,早期错误会随之传播。CoDR 通过上述重掩码步骤修正这些被模型“反悔”的 token。相关论文由 Yue Wu 等作者发布在 arXiv 的 cs.CL 分类下。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv:cs.CL
    CoDR:面向扩散语言模型的无训练置信度漂移重掩码方法

    针对掩码扩散语言模型(MDLM)中已提交 token 不可逆、早期错误会传播的问题,研究者提出无训练且与采样器无关的细化方法 CoDR(置信度漂移重掩码),仅用 k 次前向传播估计所有已提交位置的置信度漂移,再对模型不再认可的 token 重新掩码并生成。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。