TETPO：面向异步RL的桥式重要性采样

TETPO 通过将重要性权重 ρ 替换为 ρ^α 来稳定大语言模型异步强化学习后训练，α 由每个 prompt group 依据目标 ESS 比例 κ 自适应选取，用一维二分法求解。该方法对样本健康的组几乎不做温度化，在权重退化严重时加强温度化，且不引入显式零权重掩码。在高陈旧度的数学推理基准上，TETPO 优于强 on-policy 与 off-policy 基线。

摘自 arXiv：cs.AI

还没有足够的连续观测数据，暂不绘制趋势。