Rubric Dropout 缓解奖励黑客
热点事件持续更新
Rubric Dropout 缓解奖励黑客
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Minglai Yang 等作者提出 Rubric Dropout 方法，用于缓解基于 rubric 的强化学习中策略逐渐学会钻 rubric 空子、而非真正提升回答质量的问题：每步训练随机移除部分 rubric 标准，使被奖励的标准子集每步重新采样。 为保证奖励可比，同一 prompt 的所有回答用同一子集打分，评估时仍用完整 rubric。作者报告该方法将 gold judge 在分布外基准上的分数提升至多 3 个百分点（HealthBench-Hard）和 7 个百分点（ResearchQA），域内奖励接近基线，30%–50% 的 dropout 率效果最好；同 dropout 率下 Block Dropout 可进一步提升分布外分数。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
Rubric Dropout：缓解 Rubric-as-Reward 强化学习奖励黑客的简单方法报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.LGRubric Dropout：缓解 Rubric-as-Reward 强化学习奖励黑客的简单方法
针对 rubric-based 强化学习中策略逐渐学会钻 rubric 空子、而非真正提升回答质量的问题，研究者提出 Rubric Dropout：每步训练随机移除部分 rubric 标准，同一 prompt 的所有回答用同一子集打分以保证奖励可比，评估仍用完整 rubric。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。