研究者提出LoopRPT强化预训练框架

Guo Tang等作者提出LoopRPT，一种专为循环语言模型（LoopLM）设计的强化预训练框架。其做法是把下一token预测重构为下一token推理任务，通过EMA teacher参考和带噪隐状态rollout，将强化信号直接作用于模型的隐式计算步骤。 该方法在Ouro的多个模型规模上验证，据论文称提升了单步表示质量，在准确率-计算量权衡上实现Pareto占优，并在困难token上有大幅提升。上述结论来自作者在arXiv cs.CL发布的研究，尚未见独立复现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。