训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
OpenAI 用人类反馈微调 774M 参数的 GPT-2 语言模型，使其在摘要和多种风格续写等任务上匹配外部人类标注者的偏好。摘要任务用了 6 万条人工标注，较简单的风格续写任务只需 5 千条；标注者偏好与作者自身偏好并不总是一致，例如摘要任务中标注者偏好整句照抄输入文本，导致模型学会了照抄。作者表示动机是让安全技术更接近「机器与人对话」这一通用任务，认为这是提取人类价值观信息的关键。
推荐理由：原文给出用人类反馈微调 774M 参数 GPT-2 的任务结果，并指出标注者偏好与作者意图不一致导致模型学会照抄的教训。
OpenAI 宣布用一个可扩展、任务无关的系统在多项多样化语言任务上取得 SOTA 结果，并同时开放该系统。其方法结合 Transformer 与无监督预训练两个已有思路，作者希望这一结果能推动在更大、更多样数据集上的进一步研究。
推荐理由：OpenAI 官方说明其可扩展、任务无关的语言系统取得多项 SOTA，并点出 Transformer 加无监督预训练这一组合思路。
OpenAI 发布分析指出，自 2012 年以来最大 AI 训练运行所用算力呈指数增长，翻倍周期为 3.4 个月，远快于摩尔定律的 2 年翻倍周期。该指标自 2012 年以来增长超过 300,000 倍，而 2 年翻倍周期只会带来 7 倍增长。OpenAI 认为算力提升是 AI 进展的关键组成部分，若趋势持续，值得为远超当今能力的系统做好准备。
推荐理由：OpenAI 用自家分析给出训练算力 3.4 个月翻倍的量化趋势，可与摩尔定律对比，帮助读者理解算力在 AI 进展中的作用。