新的 Mamba 架构又双叒来了！上交大 & 华为提出 QuadMamba ：多个视觉任务 SOTA...

主要观点总结

本文提出了一种名为QuadMamba的视觉Mamba架构，作为一种通用且高效的后端，用于诸如图像分类和密集预测等视觉任务。QuadMamba通过引入可学习的四叉树扫描策略，有效地捕获了不同粒度的局部依赖关系，同时适应了图像数据的固有局部性，且计算开销极低。

关键观点总结

关键观点1: QuadMamba架构的提出

作者提出了一种名为QuadMamba的视觉Mamba架构，用于处理视觉任务。该架构通过可学习的四叉树扫描策略，捕获不同粒度的局部依赖性，并适应了图像数据的固有局部性。

关键观点2: QuadMamba架构的优势

QuadMamba架构实现了显著的性能提升，相较于流行的卷积神经网络（CNNs）和视觉Transformer（ViTs）。其有效性通过大量实验和消融研究得到验证。

关键观点3: QuadMamba架构的局限性

QuadMamba的一个局限性是窗口分级的深度尚未探索，这可能特别适用于处理密集预测视觉任务和高分辨率数据，如遥感图像。细粒度分区的区域刚性且缺乏针对任意形状和大小的区域的灵活性，这留待未来研究。