ECCV 2018 | 美图云联合中科院提出基于交互感知注意力机制神经网络的行为分类技术

机器之心经授权发布来源：美团云以往注意机制模型通过加权所有局部特征计算和提取关键特征，忽略了各局部特征间的强相关性，特征间存在较强的信息冗余。为解决此问题，来自美图云视觉技术部门和中科院自动化所的研发人员借鉴 PCA（主成分分析）思想，提出了一种引入局部特征交互感知的自注意机制模型，并将模型嵌入到 CNN 网络中，提出一个端到端的网络结构。该算法在多个学术数据集和美图公司内部工业界视频数据集上的行为分类表现都非常出色。基于该算法思想的相关论文「Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification」已被 ECCV2018 收录，下文将从背景、核心思想、效果和应用前景几个方面进行介绍。一、背景深度卷积神经网络中 ………………………………