论文 | GraNNDis：大型集群上深度 GNN 的高效统一分布式训练框架

文章预览

本文 约2500字 ，建议阅读 5分钟 本文提出了 GraNNDis，这是一种高效的分布式 GNN 训练框架，用于在大型图和深层上训练 GNN。 图神经网络（GNN） 是深度学习中发展最快的领域之一。根据数据集的增长和 GNN 使用的模型大小，一个重要的问题是几乎不可能将整个网络保留在 GPU 内存上。在众多尝试中，分布式训练是解决该问题的一种流行方法。然而，由于 GNN 的性质，现有的分布式方法的可扩展性较差，这主要是由于外部服务器通信缓慢。 在本文中，我们提出了 GraNNDis，这是一种高效的 分布式 GNN 训练 框架，用于在 大型图 和 深层 上训练 GNN。GraNNDis 引入了三种新技术。首先， 共享预加载 为多 GPU 服务器集群提供了训练结构。我们建议对基本顶点依赖项进行服务器方面的预加载，以减少低带宽外部服务器通信。其次，我们提出了 扩展感知采样 。 由于 ………………………………