Semi-OPD：离线学生 rollout 蒸馏法提出并验证
热点事件持续更新
Semi-OPD：离线学生 rollout 蒸馏法提出并验证
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Siyan Zhao 等作者发表论文提出半在线蒸馏方法 Semi-OPD：用初始学生模型生成的离线 rollout 进行蒸馏，而非采用 On-Policy Distillation（OPD）的在线采样。 据该论文，在 1.5B 至 235B 参数的 17 组师生配对中，Semi-OPD 有 14 组准确率优于 OPD，最高提升 13.6%，训练速度最高提升 11.4 倍。作者称这一简单替代方案在准确率和训练效率上往往都能超过 OPD。
AI 根据报道生成 · 59 分钟前更新
最新进展10月9日 12:00
何时需要 On-Policy Distillation？基于离线学生 rollout 的蒸馏往往更好报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.CL何时需要 On-Policy Distillation？基于离线学生 rollout 的蒸馏往往更好
研究提出 Semi-OPD，用初始学生生成的离线 rollout 进行蒸馏，在 1.5B 至 235B 参数的 17 组师生配对中有 14 组优于 On-Policy Distillation（OPD），准确率最高提升 13.6%，训练提速 11.4 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。