Mamba该如何解决「伪影」问题？Mamba®：只需几个寄存器即可成为MVP！

主要观点总结

本文介绍了关于视觉Mamba架构的研究，发现其与视觉Transformer存在的类似问题——“伪影”。作者在视觉Mamba架构中引入register tokens来解决这个问题，并命名为Mamba®。实验结果表明，Mamba®在ImageNet分类和ADE20k语义分割任务上取得了显著的性能提升。文章还进行了消融实验，探索了register tokens的数量和设计方案对模型性能的影响。

关键观点总结

关键观点1: 视觉Mamba架构存在的问题

视觉Mamba架构中存在与视觉Transformer类似的“伪影”问题，即一些异常tokens在背景区域具有高的范数，难以区分前景和背景区域。

关键观点2: 引入register tokens的动机

为了缓解视觉Mamba架构中的“伪影”问题，作者引入register tokens。这些tokens在输入序列中均匀插入，有助于捕捉全局表征，并与image tokens有效交互。

关键观点3: Mamba®的设计特点

Mamba®的设计包括稀疏分布的register tokens和用于最终预测的register head。通过拼接操作保留来自所有register head的信息，作为全局表征。

关键观点4: 实验结果

Mamba®在ImageNet分类和ADE20k语义分割任务上取得了显著的性能提升。实验结果表明，Mamba®具有良好的可扩展性，可以在不同规模的模型上实现性能提升。

关键观点5: 消融实验

通过消融实验，作者探索了register tokens的数量和设计方案对模型性能的影响。实验结果表明，register tokens的稀疏分布和均匀插入有助于提高模型性能。