Δ-MOPD 多教师在线蒸馏方法提出

Hejian Sang 等研究者提出 Δ-MOPD 多教师在线蒸馏方法：不直接迁移各教师的端点策略，而是把每位教师“教师减基座”的 logit 偏移重新锚定在学生冻结初始化上，再迁移给学生。 在三教师组合下，该方法较端点组合在 Math 上高 4.11 分、五个基准上高 1.95 分；两个教师时精度与端点方法持平。分阶段路由下两种阶段顺序的平均性能都更高，顺序差距从 10.50 分降至 6.42 分；交错路由（每次更新只涉及一位教师）下两种目标表现相当。以上为作者报告的结果。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。