ICML 2024 | 全新图卷积！Mila和华为提出CKGConv：连续卷积核的图卷积网络

主要观点总结

本文介绍了一种基于连续卷积核的图卷积算子CKGConv，并基于此算子的图卷积网络CKGCN。CKGCN能够在多个图任务中达到与SOTA图Transformer相当的性能，而不需要使用注意力机制。文章详细描述了CKGConv的性质和与注意力机制的对比，展示了其灵活性、结构表征能力以及对抗过度平滑和异配图信号处理的能力。

关键观点总结

关键观点1: CKGConv的定义和性质

CKGConv是一种基于连续卷积核的图卷积算子，通过定义图的伪坐标系来扩展图卷积的定义。CKGConv具有不局限于特定图位置编码、灵活的卷积核大小和与图Transformer相当的结构表征能力。作者还从理论和实验上证明了CKGConv的性质。

关键观点2: CKGConv和注意力机制的对比

注意力机制能够基于输入内容改变权重大小，但代价是需要稳定输出的数值。而CKGConv的权重仅基于输入的图结构，不会由于输入点的信号变化而变化。CKGConv的优势在于其能够抵抗过度平滑问题并检测异配图信号。

关键观点3: CKGConv的应用和实验

作者通过实验证明了CKGConv的有效性，包括在多个图任务中的性能表现、对比实验和案例分析。作者还尝试结合CKGConv和注意力机制，发现集成后的模型在ZINC上的表现更好，说明两者的信息可能是互补的。

关键观点4: 论文指导班信息

论文提供了论文指导班的相关信息，包括指导老师的背景和领域，以及论文指导班的服务内容和报名方式。

文章预览

前言   在ICML2024上，来自麦吉尔大学， Mila魁北克人工智能研究所以及华为诺亚方舟实验室的研究者发表了 一个基于连续卷积核(continuous kernel)的全新图卷积算子 (图连续卷积CKGConv)，基于此算子的纯图卷积网络(CKGCN)在多个图任务中同样能够达到媲美SOTA图Transformer的性能。 作者通过探索实验说明注意力机制并不是发展图神经网络唯一路径，强大的图卷积网络同样拥有其自身的优势。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 深度图学习与大模型LLM 仅用于学术分享，若侵权请联系删除 近年来，基于Transformer的图模型(图Transformer，graph Transformer)成为了一个备受关注的研究方向。 有别于传统的基于信息传递机制(Message-passing)的图神经网络(简称MPNN)， ………………………………