MambaOut：状态空间模型并不适合图像的分类任务

文章预览

本文 约2600字 ，建议阅读 10分钟 论文理论化认为Mamba更适合具有长序列和自回归特性的任务，而这些特性大多数视觉任务不具备。 该论文探讨了Mamba架构（包含状态空间模型SSM）是否有必要用于视觉任务，如图像分类、目标检测和语义分割。通过实验证实了了Mamba在视觉识别任务中的效果，认为其不如传统的卷积和注意力模型。 论文理论化认为Mamba更适合具有长序列和自回归特性的任务，而这些特性大多数视觉任务不具备。并进行了一下的实验： 构建了一系列名为MambaOut的模型，使用了不带SSM的门控CNN块。 将MambaOut的性能与视觉Mamba模型在ImageNet上的图像分类和COCO上的目标检测和分割任务进行比较。 实验结论如下： 对于图像分类任务，SSM是没有必要的，因为此任务不符合长序列或自回归特性。实验证据表明，MambaOut在图像分类上超越了视觉Mamba模型 ………………………………