IJCAI 2024 | 基于Transformer的高效单阶段短时RGB-T单目标跟踪方法

本章提出了一个基于 Transformer 的高效单阶段短时 RGB-T 单目标跟踪网USTrack。USTrack 的核心是提出联合特征提取 & 融合 & 关联建模方法，以解决传统三阶段融合跟踪网络在特征提取阶段缺乏模态交互的问题。从而增强跟踪网络了对多样的目标双模态外观和模态外观之间动态对应关系的适应能力。在此基础上，进一步提出了基于模态可靠性的特征选择机制。在三个主流 RGB-T 单目标跟踪基准数据集上的大量实验表明，本章的方法在实现了新的 SoTA 性能的同时，也创造了高达 84.2FPS 的最快跟踪速度。论文题目：USTrack: Unified Single-Stage Transformer Network for Efficient RGB-T Tracking 论文链接：https://arxiv.org/abs/2308.13764代码链接：https://github.com/xiajianqiang/USTrack一、引言如图 1所示，现有的三阶段 RGB-T 单目标跟踪网络通常采用两个独立的特征提取分支，分别负责提取两个模 ………………………………