ICML 24 | 基于特征基匹配的图蒸馏

文章预览

Graph Distillation with Eigenbasis Matching 「作者」 Yang Liu, Deyu Bo, Chuan Shi 「单位」 北京邮电大学 「摘要」 随着图数据量的不断增加，高效训练图神经网络（graph neural networks, GNNs）的需求也在不断提升。新兴的图蒸馏（graph distillation, GD）技术为这一挑战提供了解决思路，图蒸馏通过生成一个小的合成图来代替真实的大规模图，并确保在合成图上训练的GNNs表现出与在真实图上训练相当的性能。然而，现有的方法依赖与GNNs相关的信息进行监督，例如梯度、表征和轨迹，这样做有两个局限性。首先，GNNs可能会影响真实图的谱（spectrum，即特征值），造成在合成图上产生谱偏差。其次，使用不同架构的GNNs蒸馏会生成不同的合成图，为了训练不同的GNNs都能获得最优性能，需要遍历各种架构的GNNs蒸馏出相应的合成图。为了解决这些问题，我们提出了基于特征基 ………………………………