研究：奖励模型会记住偏好数据集捷径

一项被 EMNLP 2026 Findings 接收的研究发现，经判别式训练的奖励模型（RM）会把记忆错误分配给简单、高 margin 的偏好对，并记住数据集特有的捷径，如模型身份和用户采样策略。作者 Ivo Verhoeven 等通过在两个人类偏好数据集上测量反事实记忆得出上述结论。 研究还发现，面对未见过的偏好对时，这类 RM 会过度泛化长度、顺从性等人类偏好的简单启发式相关性。研究据此认为，这类 RM 存在偏置，尚无法在依赖上下文的场景中判断回复质量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。