CoDR:扩散语言模型免训练重掩码方法
热点事件持续更新
CoDR:扩散语言模型免训练重掩码方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者提出一种面向掩码扩散语言模型的细化方法 CoDR(置信度漂移重掩码)。该方法免训练、与采样器无关,仅用 k 次前向传播估计所有已提交位置的置信度漂移,再对模型不再认可的 token 重新掩码并生成。 该方法针对的问题是:在这类模型中,已提交 token 不可逆,早期错误会随之传播。CoDR 通过上述重掩码步骤修正这些被模型“反悔”的 token。相关论文由 Yue Wu 等作者发布在 arXiv 的 cs.CL 分类下。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 12:00
CoDR:面向扩散语言模型的无训练置信度漂移重掩码方法报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv:cs.CLCoDR:面向扩散语言模型的无训练置信度漂移重掩码方法
针对掩码扩散语言模型(MDLM)中已提交 token 不可逆、早期错误会传播的问题,研究者提出无训练且与采样器无关的细化方法 CoDR(置信度漂移重掩码),仅用 k 次前向传播估计所有已提交位置的置信度漂移,再对模型不再认可的 token 重新掩码并生成。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。