异步TD学习获近极小极大最优速率证明

Yang Peng 发表论文，为单条轨迹、Markov 数据下标准重要性加权 TD 学习的最后一次迭代给出了收敛速率证明。 论文证明，在行为策略 b 不可约、可能周期性的状态链上，以高概率达到 sup-norm 误差不超过 ε 需 Õ(ϱH³/(μ_min ε²)+𝔥⋆) 次转移。其中统计项保持与同步 TD 相同的三次有效时域依赖，初始化代价则以可加项 𝔥⋆ 出现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。