研究揭示On-Policy蒸馏学习信号消失

Lei Zhao等作者提交的论文指出，On-policy蒸馏（OPD）在使用大规模教师模型时会出现早期损失平台期。作者称，在代码生成和数学推理任务中，经过200次更新后平均最终损失仅降低25.1%，而self-RL教师可达96.2%。 论文认为，OPD失败的原因在于学习信号消失，即学生模型在训练早期就难以从教师处获得有效梯度。该结论来自arXiv cs.CL分类下的预印本，尚未经同行评议。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。