摒弃了卷积之后，我反而更强了？商汤等开源无卷积的轻量级ViT架构LightViT

作者丨Ziyang Li 编辑丨极市平台导读 一些轻量级的ViTs工作为增强架构性能，常将卷积操作集成于Transformer模块中。本文为探讨卷积对轻量级ViTs的必要性，设计了一种无卷积的轻量级ViTs架构LightViT，提出一种全局而高效的信息聚合方案。在ImageNet上仅用0.7G FLOPs就实现了78.7%的准确率，比PVTv2-B0高出8.2%。代码已开源。写在前面的话一些轻量级的ViTs工作为增强架构性能，常将卷积操作集成于Transformer模块中。本文为探讨卷积对轻量级ViTs的必要性，设计了一种无卷积的轻量级ViTs架构LightViT，提出一种全局而高效的信息聚合方案。除了在局部窗口内执行自注意计算之外，还在self-attention中引入额外的可学习标记来捕捉全局依赖性，在FFN中引入双维注意机制。LightViT-T在ImageNet上仅用0.7G FLOPs就实现了78.7%的准确率，比PVTv2-B0高出8.2%。代码已开源。论文地址：https:/ ………………………………