arXiv 论文解释在线策略蒸馏的增益与崩溃
热点事件持续更新
arXiv 论文解释在线策略蒸馏的增益与崩溃
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Han Cui 等作者在 arXiv 发布研究，从强化学习视角解释 On-Policy Distillation（OPD）为何既提升性能又可能崩溃为冗长重复生成。作者称，教师模型会隐式奖励学生行为，即使教师自身很少产生这类文本。 实验显示，OPD 并未扩展学生能力，只是让正确回答更易被采样；当隐式奖励与质量错位时会出现 reward hacking，放大冗长重复的 rollout。训练中屏蔽不健康回答或使用 SFT 初始化均可缓解崩溃。
AI 根据报道生成 · 2 小时前更新
最新进展10月5日 12:00
从强化学习视角看 On-Policy Distillation 的收益与崩溃报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv：cs.AI从强化学习视角看 On-Policy Distillation 的收益与崩溃
研究从强化学习视角解释 On-Policy Distillation（OPD）为何既提升性能又可能崩溃为冗长重复生成：教师模型隐式奖励学生行为，即使自身很少产生这类文本。实验显示 OPD 并未扩展学生能力，只是让正确回答更易被采样；当隐式奖励与质量错位时会出现 reward hacking，放大冗长重复的 rollout。训练中屏蔽不健康回答或使用 SFT 初始化均可缓解崩溃。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。