研究质疑上下文强化学习中奖励作用

一项新提交的研究发现，在直接上下文强化学习（direct ICRL）中，奖励对模型表现的提升作用很小。Minchan Kwon 等作者在四个基准、六款模型上做对照实验：翻转、随机化或移除奖励后，模型的改进曲线几乎不变，即使元提示词明确要求模型探索、利用或对奖励进行推理，结果也是如此。研究者的结论是模型确实会读取奖励，但其影响有限。这一结果对把上下文中的奖励视为主要学习信号的思路提出了质疑。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。