CVPR2022丨BatchFormer: 简单有效、即插即用的探索样本关系模块

作者丨侯志1摘要目前深度神经网络已经取得了巨大成功，但仍然面临着来自于数据稀缺的各种挑战，比如数据不平衡，零样本分布，域适应等等。当前已经有各种方法通过样本之间的关系去针对这些问题。然而这些方法并没有去挖掘内在的网络结构来使网络模型建模关系。受此启发，我们提出了一个使网络能够从训练批（min-batch）中学习样本关系的简单有效并且即插即用Transformer模块，Batch TransFormer (BatchFormer)。具体地，BatchFormer 应用于每个训练批次数据的batch维度来隐式地探索样本关系。BatchFormer 使每个批量的样本间能够互相促进学习，比方说，在长尾识别中，利用频繁类别数据促进稀有类别的样本的学习。更进一步地，由于在训练的时候在 batch 维度引用了 Transformer，训练和测试的数据分布不再一致了。因此我们提出一种共享分类器的策略，来消 ………………………………