OpenAI 发布 GPT-2 最大版本 1.5B 并公开代码与模型权重
OpenAI 发布 GPT-2 分阶段发布的最终版本，即 15 亿参数的最大版本，同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示虽然 8 月以来已有更大的语言模型发布，但仍按原计划完成分阶段发布，为社区提供一个完整的分阶段发布流程测试案例，并继续与 AI 社区讨论负责任发布。
推荐理由：OpenAI 官方说明分阶段发布的最终一步，可作为研究大模型负责任发布流程的参考案例。
模型发布
全部主题新模型的发布、开源与迭代：大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
最新精选
第 201–207 条 · 共 207 条OpenAI：官网动态（RSS · 排除企业/客户案例）精选AI 评分7878
OpenAI：官网动态（RSS · 排除企业/客户案例）精选AI 评分7575 OpenAI 发布 774M 参数版 GPT-2 并公开模型共享协议
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已分别于 2 月发布 124M 小模型、5 月分阶段发布 355M 中模型，并与合作伙伴及 AI 社区研究了模型的潜在滥用与社会效益。同时发布一份开源法律协议，便于机构间建立模型共享合作，并发布技术报告，总结与 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 官方说明分阶段放行 774M 模型的决策依据，并附上模型共享协议与发布规范报告，可了解其审慎发布策略。
OpenAI：官网动态（RSS · 排除企业/客户案例）精选AI 评分6565 OpenAI 发布 Sparse Transformer，可处理比此前长 30 倍的序列
OpenAI 开发了 Sparse Transformer，一种在预测文本、图像或声音序列下一项任务上创下新纪录的深度神经网络。它通过改进注意力机制的算法，能从比此前可能的长 30 倍的序列中提取模式。
推荐理由：原文给出 Sparse Transformer 的核心改进点，即注意力算法可处理比此前长 30 倍的序列，读者可据此了解其技术方向。
OpenAI：官网动态（RSS · 排除企业/客户案例）精选AI 评分8181 OpenAI 训练大规模无监督语言模型，多项基准达 SOTA
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的文本段落，并在多项语言建模基准上取得 SOTA 表现。该模型无需针对具体任务训练，即可完成初步的阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 自述其无监督语言模型在多项基准上达到 SOTA，且无需针对具体任务训练即可完成多种任务，可据此了解当时模型能力边界。
OpenAI：官网动态（RSS · 排除企业/客户案例）精选AI 评分6363 OpenAI 发布可逆生成模型 Glow
OpenAI 推出可逆生成模型 Glow，使用可逆 1x1 卷积，扩展了此前可逆生成模型的工作并简化了架构。模型能生成逼真的高分辨率图像，支持高效采样，还能发现可用于操纵数据属性的特征；官方已发布模型代码和在线可视化工具。
推荐理由：OpenAI 官方介绍 Glow 的架构改进与图像生成能力，并开放代码和在线可视化工具，读者可直接上手探索。
OpenAI：官网动态（RSS · 排除企业/客户案例）精选AI 评分7272 OpenAI 发布基于无监督预训练的语言理解系统并取得多项 SOTA
OpenAI 宣布用一个可扩展、任务无关的系统在多项多样化语言任务上取得 SOTA 结果，并同时开放该系统。其方法结合 Transformer 与无监督预训练两个已有思路，作者希望这一结果能推动在更大、更多样数据集上的进一步研究。
推荐理由：OpenAI 官方说明其可扩展、任务无关的语言系统取得多项 SOTA，并点出 Transformer 加无监督预训练这一组合思路。
OpenAI：官网动态（RSS · 排除企业/客户案例）精选AI 评分7575 OpenAI 发布强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），性能与当时最先进方法相当或更好，且实现和调参更简单。凭借易用性和良好表现，PPO 已成为 OpenAI 的默认强化学习算法。
推荐理由：原文说明 PPO 性能可比肩或超过 SOTA 方法且更易实现调参，读者可据此了解它为何成为 OpenAI 默认强化学习算法。