CriticOPD:用批判引导的在线策略蒸馏
热点事件观察中
CriticOPD:用批判引导的在线策略蒸馏
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
研究者提出 CriticOPD,一种让教师模型先批判学生的错误解答、再让学生据此重写,并以含批判的特权信息对结果打分、学生不带批判训练的在线策略蒸馏方法,目标是恢复错误 rollout 上的可靠监督。 据论文,在两个 Qwen3 学生模型和六个数学推理基准上,CriticOPD 均优于 OPD,竞赛题上提升最大。代码已公开。 上述评测结论来自论文报告,未涉及第三方复现。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 08:00
CriticOPD:用批判引导的在线策略蒸馏恢复可靠监督报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- HuggingFace Daily PapersCriticOPD:用批判引导的在线策略蒸馏恢复可靠监督
针对在线策略蒸馏(OPD)在错误 rollout 上失效的问题,研究者提出 CriticOPD:让教师模型先批判学生的错误解答,再让学生据此重写,教师以含批判的特权信息对结果打分,而学生不带批判地进行训练。在两个 Qwen3 学生模型和六个数学推理基准上,CriticOPD 均优于 OPD,在竞赛题上提升最大。论文共 21 页,代码已公开。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。