Transformer强化学习后训练获最优速率证明

Naoki Nishikawa 与 Taiji Suzuki 发表论文，证明基于 Transformer 的 actor-critic 算法在分层奖励的推理任务后训练中可达到 minimax 最优速率。 论文将奖励建模为响应空间上的分层函数：奖励由无穷多个局部组件构成，每个组件只有在前序组件解决后才变得相关。作者称，该速率对查询预算与正则化强度而言至多差对数因子，且在 prompt 数固定时同样最优。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。