MoE架构进军图基础模型！港大发布AnyGraph，Scaling Law再度得到验证

文章预览

项目地址： https://github.com/HKUDS/AnyGraph 论文地址： https://arxiv.org/pdf/2408.10700 实验室主页： https://sites.google.com/view/chaoh 引言 在数据科学的广阔领域中，图数据以其独特的结构特性，在社交网络、学术研究、交通监控及生物信息学等多个前沿阵地发挥着关键作用。为了深入挖掘这些图数据的潜力，AnyGraph 应运而生，它是一款旨在打破领域界限、实现零样本预测的图基础模型创新。 AnyGraph的核心挑战与解决方案 面对图数据的多样性和复杂性，AnyGraph 精心设计了多重策略以应对以下核心挑战： 结构多样性：不同领域的图数据在结构模式上差异显著，如节点连接密度、子图分布等。AnyGraph 通过引入图混合专家（MoE）机制，利用多个专家模型并行处理，有效缓解了结构异质性问题。 特征异质性：节点特征在不同数据集中表现各异，从离散类别到连续数值， ………………………………