研究者提出OPMD机制级蒸馏方法

研究者提出一种名为 On-Policy Mechanism Distillation（OPMD）的蒸馏方法：在在线策略蒸馏（OPD）仅监督学生模型输出之外，进一步迁移教师模型的中间计算过程。该方法先构建与学生兼容的教师模型，把教师表示转换为学生下游计算可用的中间状态，再从在线策略轨迹中内化这些状态。 据作者称，在三种教师-学生设定中，OPMD 的平均准确率均高于所评估的蒸馏基线，并可泛化到多教师蒸馏与跨家族监督微调。这些结果来自论文报告，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。