从线性注意力视角揭秘视觉Mamba，全新MILA模型

主要观点总结

本文介绍了关于Mamba模型和线性注意力的研究，文章指出Mamba模型具有线性计算复杂度的状态空间模型，能够以线性计算复杂度实现对输入序列的有效建模。文章通过对比Mamba和线性注意力的公式，揭示了二者之间的内在联系，并通过实验验证了Mamba模型的成功因素。同时，文章提出了一个新的模型结构MILA，它在视觉任务中表现出超越现有视觉Mamba模型的精度，并且保持了线性注意力的并行计算与高推理速度。

关键观点总结

关键观点1: Mamba模型的特点

Mamba是一种具有线性计算复杂度的状态空间模型，能够有效对输入序列进行建模。它与通常被认为性能不佳的线性注意力有内在联系。

关键观点2: Mamba与线性注意力的关系

文章通过统一的公式表述了Mamba中的核心模块状态空间模型（SSM）和线性注意力，揭示了二者之间的密切联系。Mamba可以视为具有若干特殊设计的线性注意力，这些设计包括输入门、遗忘门、快捷连接、无注意力的归一化、单头设计和更先进的宏观架构。

关键观点3: 实验验证

实验结果表明，遗忘门和宏观结构设计是Mamba成功的关键因素。同时，文章发现适当的位置编码能够在视觉任务中替代遗忘门的作用，保持并行计算和更快的推理速度。

关键观点4: MILA模型的优势

基于以上分析和验证，文章提出了Mamba-Inspired Linear Attention（MILA）模型。MILA结合了Mamba和线性注意力的优点，以线性复杂度实现全局建模，同时保持并行计算和更快的推理速度。在多种视觉任务中，MILA表现出超越现有视觉Mamba模型的精度。