DualOPSD：师生交替更新的在线自蒸馏方法

Yutong Chen 等作者提出 DualOPSD，一种耦合教师-学生交替更新的在线自蒸馏方法：学生保留 OPSD 的截断前向 KL 目标，特权教师则在每步学生更新后自适应调整，并以冻结初始模型为残差目标保留特权上下文效果。 据该论文称，在 Qwen3-8B/4B/1.7B 三个模型和三个数学基准上，DualOPSD 的 avg@12 准确率比 OPSD 提升 9.83 个百分点；代码已公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。