跳过不重要，关注关键点 ！ ToSA ，优化 Transformer 层的标记处理，为密集预测任务削...

文章预览

在本文中，作者提出了一种新颖的标记选择注意力方法，即ToSA，它可以识别需要关注以及可以跳过 Transformer 层的标记。 更具体地说，一个标记选择器解析当前的注意力图并为下一层预测注意力图，这些注意力图随后用于选择应参与注意力操作的重要标记。剩余的标记简单地绕过下一层，并与被关注的标记连接起来，重新形成一个完整的标记集合。 通过这种方式，作者减少了二次计算和内存成本，因为较少的标记参与自注意力，同时保持了整个网络中所有图像块的特征，这使得它可用于密集预测任务。 作者的实验表明，通过应用ToSA，作者可以在保持ImageNet分类基准准确性的同时显著减少计算成本。 此外，作者在NYU Depth V2的单目深度估计密集预测任务上进行评估，结果表明，使用带有ToSA的相当轻量级主干网络，作者可以达到类似的深度预测准确性 ………………………………