RM-OPD：生成式奖励模型的在线策略蒸馏框架

Qinglin Su 等人提出两阶段框架 RM-OPD，用同策略蒸馏训练通用生成式奖励模型：先通过单域 GRPO 微调得到多个专家教师模型，再经路由式同策略蒸馏、领域贡献重加权和可选的评判标准上下文蒸馏，将各专家能力整合进单个学生模型。 该工作针对原生 Mix-RL 的奖励稀疏与跨域干扰问题。作者称，在多个 RM 基准和两个基座模型上，RM-OPD 持续优于原生 Mix-RL 及其他强基线，并出现“教师超越”效应，即学生模型表现超过其教师模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。