抛开卷积，多头自注意力能够表达任何卷积操作

文章预览

作者 | VincentLee 责编 | 贾伟 本文来源于公众号： 晓飞的算法工程笔记 近年来很多研究将NLP中的attention机制融入到视觉的研究中，得到很不错的结果。这篇发表于 ICLR 2020 的论文侧重于从理论和实验去验证self-attention可以代替卷积网络独立进行类似卷积的操作，给self-attention在图像领域的应用奠定基础。 论文地址：https://arxiv.org/abs/1911.03584 论文代码：https://github.com/epfml/attention-cnn Transformer的提出对NLP领域的研究有很大的促进作用，这主要得益于attention机制，特别是自注意力（self-attention），它会考虑词间的相似性，对当前词进行加权输出。受到词间关系学习的启发，自注意力也开始用于视觉任务中，但大都是注意力和卷积的结合。Ramachandran 在2019年的研究中，用完全注意 ………………………………