Attention！神经网络中的注意机制到底是什么？

原作：Adam Kosiorek安妮 编译自 GitHub量子位 出品 | 公众号 QbitAI神经网络的注意机制（Attention Mechanisms）已经引起了广泛关注。在这篇文章中，我将尝试找到不同机制的共同点和用例，讲解两种soft visual attention的原理和实现。什么是attention？通俗地说，神经网络注意机制是具备能专注于其输入（或特征）的神经网络，它能选择特定的输入。我们将输入设为x∈Rd，特征向量为z∈Rk，a∈[0,1]k为注意向量，fφ（x）为注意网络。一般来说，attention的实现方式为:a=fφ（x）或za=a⊙z在上面的等式[1]中，⊙代表对应按元素（element-wise）相乘的运算。在这里我们引入soft attention和hard attention的概念，前者是指相乘时（soft）mask of values在0到1，而后者表示mask of values被强制分为0或1两种， ………………………………