干货 | 除了生成文本，还可以补全图像、生成音频序列的稀疏 Transformers

AI 科技评论按：OpenAI 设计了一种新的 Transformer 模型：稀疏 Transformer（Sparse Transformer），它在序列预测任务中取得了新的表现记录，不论是预测文本、像素还是声音序列。它在注意力机制的基础上做了算法改进，可以在比以前长 30 倍的序列中提取模式。AI 科研中现存挑战之一就是对复杂数据中的长距离、细微的互相关联性做建模，比如图像、视频、音频序列内部存在的关联性。原始的 Transformer 中的自我注意力机制有着 O(N2) 的计算复杂度，OpenAI 新提出的稀疏 Transformer 经过重新设计，把计算复杂度降低到了 O(N√N)，以及加入了其它一些改进，让它可以处理更长的序列甚至更复杂的数据类型。在此之前，处理这些数据的模型要么是针对单独一种数据类型专门设计的，要 ………………………………