ICLR 2024 || 图学习领域，注意力IS OFTEN NOT ALL YOU NEED!!!

后台留言『交流』，加入NewBee讨论组今天给大家介绍一篇论文，这篇论文探讨了图神经网络中自注意力机制与虚拟节点的异同。作者从理论和实验两个角度对比了图Transformer和带虚拟节点的消息传递图神经网络在一致性表达能力上的差异。这篇论文对理解不同全局信息交换范式具有重要意义。1. 基本信息论文题目：Distinguished in Uniform: Self-Attention vs. Virtual Nodes作者：Eran Rosenbluth, Jan Tönshoff, Martin Ritzert, Berke Kisin, Martin Grohe作者研究单位：RWTH Aachen UniversityGeorg-August-Universität Göttingen2. 介绍图Transformer（如SAN和GPS）通过将消息传递图神经网络（MPGNN）与全局自注意力相结合来处理图数据。之前的研究表明，它们是通用函数逼近器（universal function approximator），但有两个保留（reservations）：初始节点特征必须增加某些位置编码。这种逼近approximators是非一致的 ………………………………