研究：失败题上做在线蒸馏反致模型退步

Shuo Yang 等作者提交的 arXiv 论文发现，在线策略蒸馏（OPD）在训练只集中于学生当前做错的题目时，无法提升准确率，反而使全部 8 种配置性能下降（双尾符号检验 p=0.0078），尽管训练 KL 散度持续降低。 研究用 Qwen-3 和 Phi-4 在统一的竞赛数学协议下评测了 5 种代表性 OPD 机制。相同流程在不集中于失败题时准确率提升 4.6 个百分点，作者据此认为退步取决于训练数据构成，而非 OPD 方法本身。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。