Mamba一作最新工作：多亏Transformer，让Mamba更强了！

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 明敏 发自 凹非寺 转载自：量子位（QbitAI） Attention is all you need. 至少在矩阵这儿是。 Mamba架构最新进展： 仅需1%计算量 ，新模型性能达 SOTA 。 能做到这一点，还多亏了Transformer。 通过将Transformer模型中的知识有效迁移到Mamba等替代架构中，模型能在保持较低计算成本的同时，性能更好。 这就是由Mamba主创之一Albert Gu领衔的最新成果。 值得一提的是，这种方法还 适用于Mamba以外 的非Transformer架构。 论文：https://arxiv.org/abs/2408.10189 从Transformer到SSMs Transfor ………………………………