HAFormer：融合 CNN 与 Transformer 的高效轻量级语义分割模型

文章预览

↑ 点击 蓝字  关注极市平台 作者丨AI 引擎 来源丨AI视界引擎 编辑丨极市平台 极市导读   HAFormer以最小的计算开销和紧凑的模型尺寸实现了高性能，在Cityscapes上的mIoU达到了74.2%，在CamVid测试数据集上的mIoU达到了71.1%，在单个2080Ti GPU上的帧率分别为10SFPS和118FPS。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 在语义分割任务中，卷积神经网络（CNNs）和Transformer都表现出了巨大的成功。人们已经尝试将CNN与Transformer模型集成在一起，以捕捉局部和全局上下文交互。然而，在考虑计算资源限制时，仍有提升的空间。 在本文中，作者介绍了HAFormer模型，该模型结合了CNN的分层特征提取能力与Transformer的全局依赖建模能力，以应对轻量级语义分割挑战。具体来说，作者设计了一个分层感知像素激活（HAPE）模块，用于自适应多尺度局部特征提取。在全 ………………………………