【他山之石】AAAI 2024 Oral｜打破边界：利用CLIP的多任务多模态视频行为识别方法

主要观点总结

本文提出了一种新颖的多模态、多任务适配框架，将强大的CLIP模型转移到视频动作识别任务中。该框架包括视觉和文本适配器以及多任务解码器，在确保最先进的零样本可转移性的同时，实现了强大的监督性能。文章还介绍了相关实验和结果。

关键观点总结

关键观点1: 多模态、多任务适配框架的介绍

该框架旨在将大规模的视觉-语言模型（如CLIP）有效地适应视频动作识别任务。它包括视觉和文本适配器，用于改善视频和文本的表示能力，以及多任务解码器，用于提高整个框架的学习能力。

关键观点2: 视觉和文本适配器的细节

视觉适配器通过全局时间增强和局部时间差分建模来适配CLIP的图像分支到视频分支。文本适配器则用于增强动作动词标签的语义表示。这两种适配器有助于提高模型在视频动作识别任务中的性能。

关键观点3: 多任务解码器的功能

多任务解码器通过引入多个学习任务，利用更丰富的监督信号，引导模型更好地对齐视觉和文本模态，同时捕捉各种语义信息。这有助于缓解有监督学习的性能差异，并保留CLIP的卓越泛化能力。

关键观点4: 实验结果

文章介绍了在有监督学习和零样本学习实验上的结果，展示了所提出框架的有效性。这些实验结果表明该框架在视频动作识别任务中取得了显著的性能提升。