TCSVT 2024 | 基于语义感知与CNN-Transformer混合网络的遮挡行人重识别

主要观点总结

本文介绍了基于语义感知与CNN-Transformer混合网络的遮挡行人重识别技术。文章详细阐述了论文的创新点、设计特色模块、采用的网络架构等。主要解决了遮挡行人的重识别问题，通过语义感知流和姿态感知流的联合优化，实现了鲁棒且有判别力的特征学习。

关键观点总结

关键观点1: 论文提出的语义感知与CNN-Transformer混合网络（SPH）

创新性地将基于CNN的人体语义感知流和基于Transformer的姿态感知流结合在一个统一框架中，充分挖掘人体语义信息和姿态信息，同时解决遮挡和姿态变化问题，实现鲁棒且有判别力的特征学习。

关键观点2: 设计特色模块

包括人体语义感知（HSP）模块、基于令牌的姿态整合（TPI）模块和人体补全策略（HCS）等，分别解决遮挡问题、行人姿态变化问题和特征补全问题。

关键观点3: 采用联合优化策略

通过设计包含分类损失、对比损失和分割损失的损失函数，对基于CNN的语义感知流和基于Transformer的姿态感知流进行联合优化，以获得更具判别力和鲁棒性的特征。

关键观点4: 论文的实验与讨论

介绍论文实验的设置、方法、结果和分析，以及未来工作的展望和论文推广的重要性。