研究者提出包络采样缓解奖励欺骗

研究者提出包络采样（envelope sampling），一种用于 LLM 评判器重校准的方法，通过最小化后训练模型遗憾的上界来缓解奖励欺骗。该研究由 Sanjit Dandapanthula 等作者完成。 该方法给出基于拒绝采样或针对修改奖励微调的实用算法。作者称，在临床笔记生成和受控谄媚任务上，包络采样重校准能缓解奖励欺骗，而基于基座模型样本的重校准则不能。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。