跳到正文
原文
arXiv:cs.CL(计算语言学,全量分类)· Zhenghao He, Bohan Liu, Guangzhi Xiong, Aidong Zhang·· 1 天前AI 评分43

掩码扩散语言模型中的可靠并行解码(RPD)

Reliable Parallel Decoding in Masked Diffusion Language Models

AI 导读

研究者提出免训练的可靠并行解码方法 RPD,按逐层预测稳定性与最终置信度筛选候选 token,并在其前置掩码位置的累积熵预算下并行提交。在 LLaDA 和 Dream 上的数学推理与代码生成基准中,RPD 在评测方法中取得最高解码吞吐,同时保持或提升准确率。诊断显示,仅凭置信度无法确定可靠的提交顺序,序列末端的高置信预测可能在上游计算尚未建立时锁定答案。

来源:arXiv:cs.CL(计算语言学,全量分类) · arxiv.org