扩散语言模型学习式解掩码策略受控研究

Jinya Sakurai 等人提交预印本论文，对扩散语言模型的学习式解掩码策略做系统性受控对照。研究称，以最终输出为标签在低 NFE（函数评估次数）下过于宽松，仅用隐藏状态偏弱但可补充置信度；NFE 约下降 10% 即可抵消 7.5M 参数以内策略的开销。据此提出的轨迹收缩目标在 LLaDA-8B-Instruct 上以 856K 参数策略取得最佳精度-NFE 前沿与 GSM8K 最高吞吐，并可迁移至 Dream-7B-Instruct。上述效果为论文作者报告，尚未经独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。