OpenAI 发布基于无监督预训练的语言理解系统并取得多项 SOTA
OpenAI 宣布用一个可扩展、任务无关的系统在多项多样化语言任务上取得 SOTA 结果，并同时开放该系统。其方法结合 Transformer 与无监督预训练两个已有思路，作者希望这一结果能推动在更大、更多样数据集上的进一步研究。
推荐理由：OpenAI 官方说明其可扩展、任务无关的语言系统取得多项 SOTA，并点出 Transformer 加无监督预训练这一组合思路。
技术方向
数据与训练 最新动态
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
82 条精选近 30 天 29 条共收录 4,704 条
更新
精选归档 · 第 5 页
OpenAI：官网动态精选AI 评分7272
OpenAI：官网动态精选AI 评分7171 OpenAI 分析：2012 年以来最大 AI 训练算力每 3.4 个月翻倍
OpenAI 发布分析指出，自 2012 年以来最大 AI 训练运行所用算力呈指数增长，翻倍周期为 3.4 个月，远快于摩尔定律的 2 年翻倍周期。该指标自 2012 年以来增长超过 300,000 倍，而 2 年翻倍周期只会带来 7 倍增长。OpenAI 认为算力提升是 AI 进展的关键组成部分，若趋势持续，值得为远超当今能力的系统做好准备。
推荐理由：OpenAI 用自家分析给出训练算力 3.4 个月翻倍的量化趋势，可与摩尔定律对比，帮助读者理解算力在 AI 进展中的作用。