PACS：扩散语言模型的SFT新方法
热点事件持续更新
PACS：扩散语言模型的SFT新方法
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
研究者提出面向扩散语言模型（DLM）的监督微调方法 PACS（Predictability-Aware Canvas Selection and Supervision），针对标准 SFT 中随机掩码造成的训练-推理不匹配，用模型自身的可预测量为每个样本选择注意力可见的输入长度，并在参考 token 按置信度揭示前对其进行监督。 作者 Miao Li 等称，在推理与代码生成基准上，PACS 平均准确率超过所对比的 SFT 方法，单项基准较 vanilla SFT 最高提升 12.84 个百分点。论文称代码将在发表后发布。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
匹配合适的画布而非仅匹配答案：面向扩散语言模型的可预测性感知 SFT报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI匹配合适的画布而非仅匹配答案：面向扩散语言模型的可预测性感知 SFT
针对扩散语言模型（DLM）标准 SFT 中随机掩码带来的训练-推理不匹配问题，研究者提出 PACS 方法，用模型自身的可预测性来选择每个样本的注意力可见输入长度，并在参考 token 被置信度引导揭示前对其监督。在推理与代码生成基准上，PACS 平均准确率超过对比的 SFT 方法，单项基准较 vanilla SFT 最高提升 12.84 个百分点，代码将在论文发表后发布。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。