值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展的精选解读。
OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上训练达到同等性能的神经网络所需算力每 16 个月下降一半。相比 2012 年，现在训练到 AlexNet 水平所需算力减少 44 倍，而同期 Moore's Law 只能带来 11 倍的成本改善。结果表明，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：原文量化了算法进步带来的算力节省，并与 Moore's Law 对比，读者可据此理解算法与硬件效率的相对贡献。
OpenAI 发布关于神经网络语言模型 Scaling Laws 的研究，正文抓取失败，仅标题可用，具体内容无法确认。
OpenAI 在官网发布关于 Dota 2 大规模深度强化学习的研究内容，正文抓取失败，仅标题可用，具体方法和结果以原文为准。
OpenAI 用人类反馈微调 774M 参数的 GPT-2 语言模型，使其在摘要和多种风格续写等任务上匹配外部人类标注者的偏好。摘要任务用了 6 万条人工标注，较简单的风格续写任务只需 5 千条；标注者偏好与作者自身偏好并不总是一致，例如摘要任务中标注者偏好整句照抄输入文本，导致模型学会了照抄。作者表示动机是让安全技术更接近「机器与人对话」这一通用任务，认为这是提取人类价值观信息的关键。
推荐理由：原文给出用人类反馈微调 774M 参数 GPT-2 的任务结果，并指出标注者偏好与作者意图不一致导致模型学会照抄的教训。
OpenAI 报告，智能体在其新构建的模拟捉迷藏环境中训练时，逐步发现越来越复杂的工具使用行为。智能体在游戏中演化出六种不同的策略与反策略，其中部分策略是团队事先不知道该环境所支持的。OpenAI 认为这种简单环境中的自监督涌现复杂性表明，多智能体协同适应未来可能产生极其复杂和智能的行为。
推荐理由：OpenAI 自述多智能体在捉迷藏环境中自发演化出六种策略与反策略，可帮助读者了解多智能体协同适应如何产生复杂行为。
OpenAI Five 成为首个在电竞项目中击败世界冠军的 AI，周末在决赛中连胜 OG 两局。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下对局中战胜职业选手但输掉直播比赛，这也是 AI 首次在直播中战胜电竞职业选手。
OpenAI 宣布其由五个神经网络组成的团队 OpenAI Five，已开始在 Dota 2 中击败业余人类战队。
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构合作发布预测 AI 恶意用途的论文，读者可从中了解威胁类型与对应的防范缓解思路。
OpenAI 宣布打造出一个在 Dota 2 标准 1v1 比赛规则下击败世界顶尖职业选手的 bot。该 bot 通过自博弈从零学会游戏，不使用模仿学习或树搜索。OpenAI 称这是迈向能在涉及真实人类的复杂混乱场景中完成明确目标的 AI 系统的一步。
推荐理由：OpenAI 官方说明该 bot 从零自学习、不用模仿学习或树搜索，读者可据此了解早期自博弈强化学习的思路。
OpenAI 与 DeepMind 安全团队合作开发一种算法，通过让人类判断两个候选行为哪个更好来推断人类意图。该工作旨在免去人工编写目标函数，避免用简单代理近似复杂目标时引发危险行为，是构建安全 AI 系统的一步。
推荐理由：OpenAI 与 DeepMind 安全团队合作的算法，通过人类偏好比较推断目标，减少人工写目标函数带来的风险。
OpenAI 与 Berkeley、Stanford 研究者共同署名 Google Brain 研究人员主导的论文《Concrete Problems in AI Safety》。论文探讨了让现代机器学习系统按预期运行的多项研究问题。
推荐理由：OpenAI 联合 Berkeley、Stanford 研究者参与 Google Brain 主导的论文，读者可从中了解 AI 安全的具体研究问题方向。