TAPO：轨迹感知策略优化框架发布
热点事件持续更新
TAPO：轨迹感知策略优化框架发布
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
研究者 Zhicheng Cai 等人提出轨迹感知策略优化（TAPO）框架，用于缓解长程自回归 rollout 中局部策略失配累积成的状态分布偏移。该方法从 off-policy 策略梯度理论推导出状态分布修正项并纳入强化学习目标，同时用几何平均估计器降低方差、用长度感知动态裁剪控制更新幅度。 据该研究，TAPO 在八个竞赛级基准上测试，数学推理和算法编程成绩较 GRPO 分别最高提升 48% 和 12%，训练稳定性也有所增强。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
TAPO：弥合长程 LLM 强化学习中的状态分布差距报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv：cs.LGTAPO：弥合长程 LLM 强化学习中的状态分布差距
针对长程自回归 rollout 中局部策略失配累积成严重状态分布偏移的问题，研究者提出轨迹感知策略优化（TAPO），从 off-policy 策略梯度理论推导出状态分布修正项并纳入 RL 目标，同时用几何平均估计器降低方差、用长度感知动态裁剪避免过度偏离更新。在八个竞赛级基准上，TAPO 在数学推理和算法编程上分别较 GRPO 提升最高 48% 和 12%，训练稳定性显著增强。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。