跳到正文
热点事件持续更新

RPO:仅训练根token实现自适应推理

1 篇报道1 个报道来源21 小时前更新

先了解这件事

报道摘要

针对大推理模型对难度不同的问题一律重度计算导致的过度思考问题,研究者提出 RPO(Root-token Policy Optimization),仅训练初始根 token(如是否调用相应标签)来自主决定何时推理,从而大幅降低训练开销与显存占用。在多个模型族和规模上,RPO 以约为此前自适应推理方法 2% 的训练算力学会了难度感知的自适应思考。

摘自 arXiv:cs.AI

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    RPO:通过根 token 策略优化让大推理模型自适应思考

    针对大推理模型对难度不同的问题一律重度计算导致的过度思考问题,研究者提出 RPO(Root-token Policy Optimization),仅训练初始根 token(如是否调用相应标签)来自主决定何时推理,从而大幅降低训练开销与显存占用。在多个模型族和规模上,RPO 以约为此前自适应推理方法 2% 的训练算力学会了难度感知的自适应思考。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。