跳到正文
热点事件持续更新

MRTPO:按验证器定位做多奖励token级信用分配

1 篇报道1 个报道来源22 小时前更新

先了解这件事

AI 综述

研究者 Haotian Zhai 等发布论文提出 MRTPO,一种多奖励强化学习的信用分配方法:利用每个奖励的 verifier 实际检查的位置,把该奖励的 advantage 只分配给与之相关的 token,而不再均匀铺满整条回复。论文称该方法不需要辅助模型,也不需要 token 级标注。 其针对的问题是此前 GDPO 将每个奖励的 advantage 均匀分配到整个回复上。MRTPO 改变的是分配范围,使各奖励的信用与其验证器覆盖的 token 对应。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. HuggingFace Daily Papers
    MRTPO:让每个奖励只作用于相关 token 的多奖励强化学习信用分配方法

    针对多奖励 RL 中 GDPO 将每个奖励的 advantage 均匀铺满整个回复的问题,研究者提出 MRTPO,利用各奖励 verifier 实际检查的位置,把每个奖励的 advantage 只分配给与之相关的 token。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。