TPAMI 2024 | DualCoOp++：一种快速高效的有限注释多标签识别方法

主要观点总结

本文介绍了DualCoOp++: 一种快速高效的有限注释多标签识别方法。文章提出了DualCoOp++框架，利用预训练的视觉语言模型进行多标签图像识别，通过引入证据引导的双上下文优化，解决低标签状态下的多标签图像识别挑战。在DualCoOp++中，提出了证据、正面和负面提示三元组，以及证据引导的区域特征聚合和赢家通吃模块，以更好地区分相似类别，并在部分标签和零样本多标签识别任务中取得了显著的性能提升。

关键观点总结

关键观点1: DualCoOp++框架介绍

文章提出了DualCoOp++框架，利用预训练的视觉语言模型进行多标签图像识别，通过引入证据引导的双上下文优化，解决低标签状态下的多标签图像识别挑战。

关键观点2: 证据、正面和负面提示三元组

在DualCoOp++中，提出了证据、正面和负面提示三元组，用于为目标类别提供不同的上下文信息。

关键观点3: 证据引导的区域特征聚合

引入证据引导的区域特征聚合，将正面和负面提示与证据提示相结合，以更好地聚合每个类别的视觉区域特征。

关键观点4: 赢家通吃模块

引入赢家通吃模块，促进类别间互动，并规范每个区域仅对最多一个类别产生积极响应，以更好地区分相似类别。

关键观点5: 性能提升

在多个基准数据集上的实验表明，DualCoOp++在部分标签和零样本多标签识别任务中均达到了最先进的性能，显著提升了识别精度和效率。