微软亚研：对深度神经网络中空间注意力机制的经验性研究

机器之心专栏来源：微软亚洲研究院作者：朱锡洲、程大治、张拯、Stephen Lin（林思德）、代季峰空间注意力（Spatial Attention）机制最近在深度神经网络中取得了很大的成功和广泛的应用，但是对空间注意力机制本身的理解和分析匮乏。论文：An Empirical Study of Spatial Attention Mechanisms in Deep Networks链接：https://arxiv.org/abs/1904.05873摘要：空间注意力（Spatial Attention）机制最近在深度神经网络中取得了很大的成功和广泛的应用，但是对空间注意力机制本身的理解和分析匮乏。本论文对空间注意力机制进行了详尽的经验性分析，取得了更深入的理解，有些认知是跟之前的理解很不一样的，例如，作者们发现 TransformerAttention 中对 query 和 key 的内容进行比较对于空间注意 ………………………………