Arxiv'2025 | 基于上下文的语义感知对齐方法用于半监督多标签学习

主要观点总结

本文介绍了一篇关于半监督多标签学习的论文，该论文提出了一种基于上下文的语义感知对齐框架，旨在解决在大规模图像-文本对上预训练的视觉-语言模型（VLMs）中嵌入的丰富知识可以缓解SSMLL设置下有限标注数据的挑战。论文的主要创新点包括语义感知对齐方法、半监督上下文识别辅助任务、自监督上下文划分和类别特定的提示设计。论文通过多个基准数据集上的实验验证了所提出方法的有效性。

关键观点总结

关键观点1: 语义感知对齐方法

通过将文本特征与标签特定的图像特征对齐，简化对齐任务。

关键观点2: 半监督上下文识别辅助任务

通过捕捉标签之间的共现信息来增强特征表示，提高模型对图像上下文的理解能力。

关键观点3: 自监督上下文划分方法

通过计算标签的共现矩阵并应用谱聚类，将标签空间划分为多个上下文簇。

关键观点4: 类别特定的提示设计

每个类别拥有独立的提示参数，提高模型的识别能力。