跳到正文
热点事件持续更新

研究：在线策略蒸馏传技能不传知识

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Yixuan Tang 与 Yi Yang 提交的研究发现，reverse-KL 的在线策略蒸馏（OPD）能跨未见推理结构传递组合技能，却几乎不传递事实知识。 拆解蒸馏配方后，把 reverse KL 换成 forward KL 可恢复事实迁移，而 student rollouts 则专门提升多步推理执行能力。 在近期事实问答与竞赛数学实验中，这种不对称同样出现：推理增益明显，但模型参数化知识未扩张。

AI 根据报道生成 · 1 小时前更新

最新进展10月8日 12:00
On-Policy Distillation 教出新技能而非新知识

报道时间线

沿着报道，了解事件的不同侧面。

10月8日
  1. arXiv：cs.CL
    On-Policy Distillation 教出新技能而非新知识

    一项受控合成实验发现，reverse-KL 的 on-policy distillation（OPD）能跨未见推理结构传递组合技能，却几乎不传递事实知识。拆解蒸馏配方显示，把 reverse KL 换成 forward KL 可恢复事实迁移，而 student rollouts 则专门提升多步推理执行能力。近期事实 QA 与竞赛数学实验呈现同样不对称：推理增益明显，但模型参数化知识未扩张。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。