arXiv：目标泛化失败的政策对齐研究

Julia Barth 等作者在 arXiv 发表研究，在三个 Procgen 环境和五个机器人任务中发现目标误泛化存在三种策略-目标错位形式：功能性目标替换、策略捷径，以及预期目标与代理目标线索之间的线索竞争。 研究给出对应的干预结果：当目标信息能到达决策环节（如线索竞争情形），引导可将预期目标达成率从 16.0% 提升至 95.3%；当目标只到达策略而未到达决策时，仅靠新的下游连接可将达成率从 31.6% 恢复至 84.3%，这一结果来自存在动作捷径的环境；目标完全惰性时两种方法均无效。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。