CNN与Transformer的强强联合！谷歌最新开源BoTNet，ImageNet达84.7%准确率

公众号关注 “ML_NLP”设为 “星标”，重磅干货，第一时间送达！转载自 | 极市平台作者丨Happy审稿｜邓富城编辑丨极市平台本文是伯克利与谷歌的研究在Convolution+Transformer组合方面一个探索，它采用混合方式同时利用了CNN的特征提取能力、transformer的内容自注意力与位置自注意力机制，取得了优于纯CNN(如ResNet、EfficientNet)或者自注意力(如ViT、DeiT)的性能。所提方案在ImageNet上取得了84.7%的top1精度；在COCO数据集上，基于MaskR-CNN取得了44.4%的MaskAP与49.7%的BoxAP指标。本文值得对Transformer感兴趣的同学深入研究一番，文中各种实验分析相当的详细。Abstract本文提出了一种概念简单但强有力的骨干网络BoTNet，它集成了自注意力机制并用于多个计算机视觉任务(包含图像分类、目标检 ………………………………