【NeurIPS2024】GDeR: 通过原型图剪枝保障效率、平衡性与鲁棒性

主要观点总结

文章介绍了一种新的动态软剪枝方法GDeR，该方法通过可训练的原型动态更新训练“篮子”以优化图神经网络（GNN）的训练。在面临大规模、不平衡和噪声数据集时，GDeR能够通过构建图嵌入超球体并从中抽取代表性、平衡且无偏的子集来实现图训练调试目标。实验表明，GDeR在减少训练样本的情况下性能优异，并实现高速训练，同时在不平衡和噪声训练场景中表现更出色。

关键观点总结

关键观点1: 新的动态软剪枝方法GDeR的介绍

文章提出了一种名为GDeR的动态软剪枝方法，它通过可训练的原型动态更新训练“篮子”，旨在优化GNN的训练。

关键观点2: GDeR的工作原理

GDeR通过构建一个经过良好建模的图嵌入超球体，并从中抽取代表性、平衡且无偏的子集，以实现图训练调试目标。

关键观点3: GDeR的性能表现

在多个数据集和GNN骨干网络上的实验表明，GDeR在减少训练样本的情况下仍能达到或超越完整数据集的性能，并实现高速训练。此外，在不平衡和噪声训练场景中，GDeR的性能优于其他最新剪枝方法。

关键观点4: GDeR的获取方式

源代码可在https://github.com/ins1stenc3/GDeR获取。

关键观点5: 数据派THU的介绍

数据派THU作为数据科学类公众号，分享前沿数据科学与大数据技术创新研究动态，并持续传播数据科学知识。