提出稀疏到稠密奖励的语言模型后训练方法
热点事件持续更新
提出稀疏到稠密奖励的语言模型后训练方法
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
一项 arXiv 论文提出“奖励密度原则”：稀疏的序列级奖励适合让有探索能力的强模型发现更优行为，稠密的 token 级教师监督则适合把这种行为压缩进较小的部署模型，稀缺标注数据应优先用在上游最强教师上。 作者称按这一原则设计的工作流在 Qwen3-1.7B 学生模型上，经强化学习改进的 8B 教师蒸馏后，MATH 得分 79.3%、AIME 2024 得分 25.2%，高于直接使用 GRPO 的 75.9% 和 19.8%。论文同时公开了实验中使用的 OPD 实现。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
超越 GRPO 与在线策略蒸馏：语言模型后训练的稀疏到稠密奖励原则报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI超越 GRPO 与在线策略蒸馏：语言模型后训练的稀疏到稠密奖励原则
研究提出“奖励密度原则”：稀疏序列级奖励适合让强模型探索更优行为，稠密 token 级教师监督更适合将其压缩进小模型，稀缺标注数据应先用在上游最强教师上。在 Qwen3-1.7B 学生模型上，经 RL 改进的 8B 教师蒸馏后在 MATH 达 79.3%、AIME 2024 达 25.2%，均高于直接 GRPO 的 75.9% 和 19.8%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。