热点事件持续更新
离线与在线策略蒸馏训练目标差异研究
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月2日，arXiv cs.LG 发布一项研究，对比在策略蒸馏（OPD）与离策略蒸馏在多教师序列蒸馏中的差异。研究指出，前向 KL 散度产生加权算术混合目标，反向 KL 散度产生归一化加权几何聚合目标，两者分别对应离策略与在策略反馈下的学习算法，并在表格设定下建立对数遗憾界。分析表明，反向 KL 在无信息反馈下更能保留置信专家的偏好，但对给正确答案分配极低概率的教师更敏感，其 token 级条件分布依赖续写分布，长程下可能偏向错误前缀。
AI 根据报道生成 · 3 小时前更新
最新进展10月2日 12:00
新研究揭示反向 KL 蒸馏长程下可能偏向错误前缀。报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- arXiv：cs.LG（机器学习，全量分类）理解离策略与在策略蒸馏：两种不同训练目标的故事
研究对比了在策略蒸馏（OPD）与离策略蒸馏在多教师序列蒸馏中的差异：前向 KL 散度产生加权算术混合目标，反向 KL 散度产生归一化加权几何聚合目标，两者分别对应离策略与在策略反馈下的学习算法，并在表格设定下建立了对数遗憾界。分析表明，反向 KL 在无信息反馈下更能保留置信专家的偏好，但对给正确答案分配极低概率的教师更敏感，其 token 级条件分布依赖续写分布，长程下可能偏向错误前缀。
本事件热度走势
当前热度 9·可比范围峰值 9（10月2日 14:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。