跳到正文

技术方向

多模态 最新动态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

121 条精选近 30 天 50 条共收录 969 条

更新

精选归档 · 第 7 页

4月23日周二第 121–121 条
  1. OpenAI：官网动态65

    OpenAI 发布 Sparse Transformer，可处理比此前长 30 倍的序列

    OpenAI 开发了 Sparse Transformer，一种在预测文本、图像或声音序列下一项任务上创下新纪录的深度神经网络。它通过改进注意力机制的算法，能从比此前可能的长 30 倍的序列中提取模式。

    推荐理由：原文给出 Sparse Transformer 的核心改进点，即注意力算法可处理比此前长 30 倍的序列，读者可据此了解其技术方向。