ICCV2023 | EMO: 结合 Attention 重新思考移动端小模型中的基本模块

作者丨科技猛兽  编辑丨极市平台  极市导读 本文作者简单地结合了 IRB 和 Transformer 的设计思路，希望结合 Attention 重新思考移动端小模型中的基本模块。不但在多个视觉任务中超越了以往的边缘设备轻量级小模型，同时具有更高的吞吐量。 >>加入极市CV技术交流群，走在计算机视觉的最前沿1 EMO：结合 Attention 重新思考移动端小模型中的基本模块论文名称：Rethinking Mobile Block for Efficient Neural Models论文地址：https://arxiv.org/pdf/2301.01146.pdf1.1.1 背景和动机近年来，由于存储和计算资源的限制，移动应用的需求不断增加，因此，本文的研究对象是端侧轻量级小模型 (参数量一般在 10M 以下) 。在众多小模型的设计中，值得注意的是 MobileNetv2[1] 提出了一种基于 Depth-wise Convolution 的高效的倒残差模块 (Inverted Residual Block, IRB) ，已成标准的高效轻量级模型的基本 ………………………………