基于关系网络的视觉建模：有望替代卷积神经网络

编者按：最近两年，自注意力机制、图和关系网络等模型在NLP领域刮起了一阵旋风，基于这些模型的Transformer、BERT、MASS等框架已逐渐成为NLP的主流方法。这些模型在计算机视觉领域是否能同样有用呢？近日，微软亚洲研究院视觉计算组主管研究员胡瀚受邀参加VALSE Webinar，分享了他们最近的一些相关工作。他们的研究以及同期的一些其它工作表明这些模型也能广泛地用于视觉基本元素之间关系的建模，包括物体与物体间、物体与像素间、以及像素与像素间的关系，特别是在建模像素与像素间关系上，既能与卷积操作形成互补，甚至有望能取代卷积操作，实现最基本的图像特征提取。大脑和机器智能都应是通用学习机器？首先，我们从一个很有意思的实验讲起，这个实验 ………………………………