ACM MM 2024｜破解长尾多标签分类难题！CPRFL：基于CLIP的新方案

主要观点总结

本文介绍了一种新颖的提示学习方法——类别提示精炼特征学习（CPRFL），用于长尾多标签图像分类（LTMLC）。该方法利用预训练的CLIP模型提取类别语义，建立头部和尾部类别之间的语义关联。通过渐进式双路径反向传播机制精炼提示，并采用非对称损失解决正负样本不平衡问题。实验结果表明，该方法在LTMLC任务中显著优于最近先进方法。

关键观点总结

关键观点1: CPRFL的提出背景

现实世界中数据通常呈现长尾分布，多标签分类是常见场景。LTMLC面临头尾不平衡和多物体识别难题，传统方法难以有效处理。

关键观点2: CPRFL的主要思想

利用CLIP的文本编码器提取类别语义，建立头部和尾部类别间的语义关联。通过类别提示实现类别特定视觉表示的解耦，采用渐进式双路径反向传播机制精炼提示，并采用非对称损失解决样本不平衡问题。

关键观点3: CPRFL的贡献

提出了新颖的提示学习方法CPRFL，有效缓解LTMLC中的头尾不平衡问题，实现了针对数据特征的量身定制解决方案。通过大量实验验证了方法的有效性，并在公开数据集上取得了显著性能提升。