新模型的发布、开源与迭代：大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已分别于 2 月发布 124M 小模型、5 月分阶段发布 355M 中模型，并与合作伙伴及 AI 社区研究了模型的潜在滥用与社会效益。同时发布一份开源法律协议，便于机构间建立模型共享合作，并发布技术报告，总结与 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 官方说明分阶段放行 774M 模型的决策依据，并附上模型共享协议与发布规范报告，可了解其审慎发布策略。
OpenAI 开发了 Sparse Transformer，一种在预测文本、图像或声音序列下一项任务上创下新纪录的深度神经网络。它通过改进注意力机制的算法，能从比此前可能的长 30 倍的序列中提取模式。
推荐理由：原文给出 Sparse Transformer 的核心改进点，即注意力算法可处理比此前长 30 倍的序列，读者可据此了解其技术方向。
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的文本段落，并在多项语言建模基准上取得 SOTA 表现。该模型无需针对具体任务训练，即可完成初步的阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 自述其无监督语言模型在多项基准上达到 SOTA，且无需针对具体任务训练即可完成多种任务，可据此了解当时模型能力边界。
OpenAI 推出可逆生成模型 Glow，使用可逆 1x1 卷积，扩展了此前可逆生成模型的工作并简化了架构。模型能生成逼真的高分辨率图像，支持高效采样，还能发现可用于操纵数据属性的特征；官方已发布模型代码和在线可视化工具。
推荐理由：OpenAI 官方介绍 Glow 的架构改进与图像生成能力，并开放代码和在线可视化工具，读者可直接上手探索。
OpenAI 宣布用一个可扩展、任务无关的系统在多项多样化语言任务上取得 SOTA 结果，并同时开放该系统。其方法结合 Transformer 与无监督预训练两个已有思路，作者希望这一结果能推动在更大、更多样数据集上的进一步研究。
推荐理由：OpenAI 官方说明其可扩展、任务无关的语言系统取得多项 SOTA，并点出 Transformer 加无监督预训练这一组合思路。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），性能与当时最先进方法相当或更好，且实现和调参更简单。凭借易用性和良好表现，PPO 已成为 OpenAI 的默认强化学习算法。
推荐理由：原文说明 PPO 性能可比肩或超过 SOTA 方法且更易实现调参，读者可据此了解它为何成为 OpenAI 默认强化学习算法。