OpenAI：官网动态（RSS · 排除企业/客户案例）·2019-04-23 15:00· 2019-04-23精选AI 评分65

OpenAI 发布 Sparse Transformer，可处理比此前长 30 倍的序列

Generative modeling with sparse transformers

AI 导读

OpenAI 开发了 Sparse Transformer，一种在预测文本、图像或声音序列下一项任务上创下新纪录的深度神经网络。它通过改进注意力机制的算法，能从比此前可能的长 30 倍的序列中提取模式。

推荐理由

原文给出 Sparse Transformer 的核心改进点，即注意力算法可处理比此前长 30 倍的序列，读者可据此了解其技术方向。