GDEPO：面向样本高效强化学习的策略优化方法

Zhengqing Yan等人提出强化学习策略优化方法GDEPO，针对GRPO在自动定理证明中的两个问题：优势估计与二值验证反馈相冲突，以及静态采样丢弃无效批次造成数据浪费。 GDEPO包含三项机制：动态补采样，对无效批次重采样直至找到有效证明；等权优势，将优势函数的符号（正确性）与幅度（辅助奖励）解耦，以稳定策略更新并提高有效计算量；动态补迭代，对起初失败但最终成功的样本追加梯度步以加速学习。 作者称在MinF2F-test、MathOlympiadBench和PutnamBench上的实验及消融研究验证了其有效性。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。