(GRSL 2025) 把文本真正“对齐”到像素上：MAFN 的相关融合编码器解析

主要观点总结

该论文介绍了一种多模态感知融合网络MAFN，用于遥感图像的分割。论文详细描述了网络架构及其创新点，包括Correlation Fusion Module（CFM）、Adaptive Noisy Swin Transformer（AN-SwinT）和Multi-Scale Refinement Convolution（MSRC）的作用和效果。文章还提供了关于消融实验和可视化结果的说明。

关键观点总结

关键观点1: 论文主题

多模态感知融合网络MAFN用于遥感图像的分割。

关键观点2: 创新点介绍

论文提出了CFM、AN-SwinT和MSRC三个关键模块，分别用于细粒度跨模态对齐、增强跨模态表征与泛化能力，以及改善目标边界和小目标分割质量。

关键观点3: 网络架构说明

MAFN采用Swin Transformer与BERT分别对视觉与文本进行编码，并在编码阶段通过CFM实现多尺度、像素级的跨模态对齐。在解码阶段，网络利用MSRC进行边界细化。

关键观点4: 消融实验结果

消融实验结果表明，CFM、AN-SwinT和MSRC的引入都提高了模型的性能，其中MSRC的提升最为显著。

关键观点5: 可视化结果解释

可视化结果展示了MAFN在不同遥感场景下的分割效果，包括大尺度目标、小尺度或噪声环境下的目标，以及不同旋转目标的情况。CFM实现了细粒度的跨模态对齐，而MSRC改善了边界细化和小目标分割。