反事实干预揭示 PPO 价值函数中的世界模型

一项发表于 arXiv 的研究用反事实干预方法探测了 Proximal Policy Optimization（PPO）智能体的价值函数：在 Crafter 环境中，研究者保持其余状态不变、只改动一个目标变量，以检验价值函数是否形成了对环境的“世界模型”。作者称，该智能体虽仅以优化奖励为目标，却学到了钻石何时可采集、水和食物影响健康、以及库存相关启发式等概念。 论文还讨论了这些可视化结果带来的安全启示，并指出当前强化学习智能体阻碍构建真正高级机器智能的一些缺陷。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。