（NeurIPS 2025）遥感模型也能读懂地图？GeoLink 在 NeurIPS 2025 带来...

主要观点总结

该论文介绍了GeoLink模型，该模型是一个结合遥感影像和OpenStreetMap向量数据的多模态自监督框架。旨在通过引入OSM数据增强遥感特征学习，并设计异构图神经网络式OSM编码器以处理三类几何实体。模型采用多粒度空间相关学习机制及双模态掩码机制进行自监督预训练。研究通过可视化结果证明了该模型的有效性和适用性。

关键观点总结

关键观点1: 首次将OSM向量数据直接引入遥感基础模型进行预训练和下游任务。

创新点包括首次将OSM向量数据直接引入遥感基础模型，而非以往的标签转换或文本生成等间接方式。

关键观点2: 设计了异构图神经网络式OSM编码器。

该编码器能够同时处理点、折线、多边形三种几何实体，并捕捉其语义标签和拓扑关系。

关键观点3: 提出多粒度空间相关学习机制。

包括区域级对比学习和对象-图像块级交叉注意力，实现细粒度跨模态融合。

关键观点4: 在自监督预训练中引入双模态掩码机制。

对遥感图像采用随机patch掩码，对OSM图节点采用节点掩码，以提升效率和泛化性。

关键观点5: 引入空间一致性损失。

该损失约束跨模态融合特征在空间分布上的一致性。