论文提出 PA1-OPD 蒸馏预训练方法

Zhenhe Wu 等作者提交论文，提出 PA1-OPD，一种面向语言模型预训练的一步前缀增强同策略蒸馏方法。 据论文描述，该方法在语料前缀的知识蒸馏基础上，对每个选定前缀用学生模型采样一步后引入教师反馈，从而扩展监督状态，同时保留下一 token 预测与语料路径蒸馏。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。